CN104717480A - 双目相机的像素级同步图像获取装置及其方法 - Google Patents

双目相机的像素级同步图像获取装置及其方法 Download PDF

Info

Publication number
CN104717480A
CN104717480A CN201410042307.8A CN201410042307A CN104717480A CN 104717480 A CN104717480 A CN 104717480A CN 201410042307 A CN201410042307 A CN 201410042307A CN 104717480 A CN104717480 A CN 104717480A
Authority
CN
China
Prior art keywords
data
pixel
binocular camera
synchronous images
level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410042307.8A
Other languages
English (en)
Inventor
张炳良
林克荣
葛路烨
高鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201410042307.8A priority Critical patent/CN104717480A/zh
Publication of CN104717480A publication Critical patent/CN104717480A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Studio Devices (AREA)

Abstract

本发明涉及视频监控领域,公开了一种双目相机的像素级同步图像获取装置及其方法。该装置包括:时序控制单元,以可编程逻辑器件实现,用于根据输入的基准时钟信号生成行场同步信号;第一和第二图像传感器,工作于从动模式,用于在行场同步信号的驱动下产生同步并行数据;图像处理单元,用于将同步并行数据进行图像处理后获得同步图像数据;其中,第一和第二图像传感器均工作于基准时钟信号且具有相同的工作参数。本发明可以获得像素级同步的图像数据,并可从该像素级同步图像数据中获取深度数据,对物体进行准确的智能分析。

Description

双目相机的像素级同步图像获取装置及其方法
技术领域
本发明涉及视频监控领域,特别涉及双目相机的像素级同步图像获取技术。
背景技术
双目立体视觉是指由不同位置的两台或者一台图像传感器经过移动或旋转拍摄同一幅场景,并通过计算空间点在两幅图像中的视差,获得该点的三维坐标值。
双目相机是指通过两个图像传感器模仿人的双眼,同时进行摄像工作的装置。其拍摄的视频内容包含两个角度的视频,在显示时通过3D呈像设备分别送到观看者的两个眼睛中,观看者即可产生亲临现场的立体视觉。
本发明的发明人发现,目前的双目相机,其两个图像传感器的曝光时间差较大,约在0.5行左右,获取的同步图像数据同步精度不高,不宜用于图像深度数据的获取和智能分析。
发明内容
本发明的目的在于提供一种双目相机的像素级同步图像获取装置及其方法,可获得的像素级同步的图像数据,并从该像素级同步图像数据中获取深度数据,对物体进行准确的智能分析。
为解决上述技术问题,本发明的实施方式公开了一种双目相机的像素级同步图像获取装置,包括:
时序控制单元,以可编程逻辑器件实现,用于根据输入的基准时钟信号生成行场同步信号;
第一和第二图像传感器,工作于从动模式,用于在行场同步信号的驱动下产生同步并行数据;
图像处理单元,用于将同步并行数据进行图像处理后获得同步图像数据;
其中,第一和第二图像传感器均工作于基准时钟信号且具有相同的工作参数。
本发明的实施方式还公开了一种双目相机的像素级同步图像获取方法,该双目相机包括以可编程逻辑器件实现的时序控制单元、第一图像传感器和第二图像传感器,时序控制单元、第一和第二图像传感器均工作于基准时钟信号,该方法包括以下步骤:
使时序控制单元根据基准时钟信号生成行场同步信号;
使工作于从动模式下的第一和第二图像传感器在行场同步信号的驱动下产生同步并行数据;
将同步并行数据进行图像处理后获得同步图像数据;
其中,第一和第二图像传感器具有相同的工作参数。
本发明实施方式与现有技术相比,主要区别及其效果在于:
生成行场同步信号的时序控制单元与两个图像传感器均工作于相同的基准时钟信号下,且两个图像传感器具有相同的工作参数,从而保证了图像传感器的曝光时刻和输出图像能够做到像素级的同步,同时,对产生的同步并行数据进行同步采样和传输,可以保证两个图像传感器产生的同步并行数据始终保持同步,进而使最后经处理获得的图像数据是像素级同步的。此外,从该像素级同步图像数据中可以获取深度数据对物体进行准确的智能分析。
进一步地,采用两个采样时钟可以在保证采样正确的同时确保两个通道数据的完全同步。
附图说明
图1是本发明第一实施方式中一种双目相机的像素级同步图像获取装置的结构示意图;
图2是本发明第二实施方式中一种双目相机的像素级同步图像获取装置的结构示意图。
图3是本发明第二实施方式中一种图像传感器的结构示意图;
图4是本发明第二实施方式中图像传感器的一种硬件连接方式;
图5是本发明第二实施方式中一种双目相机的像素级同步图像获取装置的时序控制单元的工作示意图;
图6是本发明第二实施方式中一种双目相机的像素级同步图像获取装置的图像传感器在物理结构上的像素分布示意图;
图7是本发明第二实施方式中一种双目相机的像素级同步图像获取装置的主控和运算单元的结构示意图;
图8是本发明第二实施方式中一种双目相机的像素级同步图像获取装置的工作示意图;
图9是本发明第二实施方式中一种同步采样同步并行数据的方式;
图10是本发明第二实施方式中一种同步采样同步并行数据的方式;
图11是本发明第二实施方式中一种双目相机的像素级同步图像获取装置的工作示意图;
图12是本发明第三实施方式中一种双目相机的像素级同步图像获取方法的流程示意图。
具体实施方式
在以下的叙述中,为了使读者更好地理解本申请而提出了许多技术细节。但是,本领域的普通技术人员可以理解,即使没有这些技术细节和基于以下各实施方式的种种变化和修改,也可以实现本申请各权利要求所要求保护的技术方案。
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明的实施方式作进一步地详细描述。
本发明第一实施方式涉及一种双目相机的像素级同步图像获取装置。图1是该双目相机的像素级同步图像获取装置的结构示意图。
具体地说,如图1所示,该双目相机的像素级同步图像获取装置包括:
时序控制单元,以可编程逻辑器件实现,用于根据输入的基准时钟信号生成行场同步信号。
第一和第二图像传感器,工作于从动模式,用于在行场同步信号的驱动下产生同步并行数据。其中,该第一和第二图像传感器均工作于基准时钟信号且具有相同的工作参数。
图像处理单元,用于将同步并行数据进行图像处理后获得同步图像数据。
本发明中所说像素级同步是指两个图像传感器拍摄的同步并行数据间的时间差在一个像素时钟周期内(像素时钟周期为基准时钟周期的整数倍)。
本发明在实际应用的过程中,时序控制单元可以是单独的可编程逻辑器件,如FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLD(可编程逻辑器件)、CPLD(复杂可编程逻辑器件)等,也可以是和本装置的其他单元集成在一起的控制芯片。
此外,该双目相机的像素级同步图像获取装置还包括以下单元:
参数设置单元,用于设置第一和第二图像传感器具有相同的工作参数。
解析裁剪单元,用于解析和裁剪同步并行数据,其中,剪裁是指去除图像数据的非有效数据部分。
智能处理单元,用于从图像处理单元处理后的同步图像数据中获取深度信息,并基于该深度信息进行图像的智能分析。其中,智能分析包括距离定位、目标高度获取等。
同步采样单元,用于同步采样第一和第二图像传感器产生的同步并行数据。该同步采样单元的同步采样通过以下方式实现:
采用与同步并行数据同时被第一和第二图像传感器输出的两个源同步时钟,对分别对应的两个数据通道的同步并行数据进行同步采样。
在本发明的各实施方式中,这两个采样时钟是各自传感器输出的并行数据的源同步时钟(此处的源同步时钟是和并行数据一起输出的时钟,两个通道的数据的源同步时钟频率一致,但是相位关系不一致),跟各自并行数据具有最好的相位关系,以保证采样的正确。因此,采用两个采样时钟,可以在保证采样正确的同时保证两个通道数据的完全同步。
此外,可以理解,在本发明的其他实施方式中,也可以将两个通道的数据组合起来,在图像处理单元接收到后再进行分离。
在本实施方式中,图像处理是指图像信号处理(ISP)。图像传感器的工作参数包括曝光率、增益以及像素输出频率等。图像传感器为CMOS(互补金属氧化物半导体)传感器,时序控制单元为现场可编程门阵列。
在本发明中,生成行场同步信号的时序控制单元与两个图像传感器的均工作于相同的基准时钟信号下,且两个图像传感器具有相同的工作参数,保证了图像传感器的曝光时刻和输出图像能够做到像素级的同步,同时,对产生的同步并行数据进行同步采样和传输,可以保证两个图像传感器产生的同步并行数据始终保持同步,进而使最后经处理获得的图像数据是像素级同步的。此外,从该像素级同步图像数据中可以获取深度数据对物体进行准确的智能分析。
需要说明的是,本发明各设备实施方式中提到的各单元都是逻辑单元,在物理上,一个逻辑单元可以是一个物理单元,也可以是一个物理单元的一部分,还可以以多个物理单元的组合实现,这些逻辑单元本身的物理实现方式并不是最重要的,这些逻辑单元所实现的功能的组合才是解决本发明所提出的技术问题的关键。此外,为了突出本发明的创新部分,本发明上述各设备实施方式并没有将与解决本发明所提出的技术问题关系不太密切的单元引入,这并不表明上述设备实施方式并不存在其它的单元。
本发明第二实施方式涉及一种双目相机的像素级同步图像的获取装置,可实现双目图像传感器像素级高精度的同步。
图2所示为一种双目相机的像素级同步图像获取装置的机构示意图。包括有图像传感器子板、红外灯板、主板和接口电路(如柔性电路板(FPC)接口)。图像传感器子板(包括图像传感器子板1和图像传感器子板2)主要为IMX138CMOS图像传感器和接口电路,红外灯板为红外LED(发光二极管)灯,可照射距离20m;主板包括有时序控制单元、主控和运算单元以及外设的控制芯片等,主板对应控制单元负责连接两路的图像传感器子板和红外灯板以及外设器件和接口。时序控制单元使用FPGA(现场可编程门阵列),主控及运算单元使用TI DM8147(德州仪器公司的一款芯片)。时序控制单元用以产生时序控制信号给前端两路图像传感器子板并采样输入的同步并行数据,并保证两路同步并行数据的同步,再将同步并行数据分成两路(数据通道0和数据通道1)输出给DM8147(视频输入口0和视频输入口1)。主控和运算单元DM8147能支持两路同步并行数据的输入和处理,对bayer数据(拜耳数据)进行ISP处理(Image Signal Processor,图像信号处理),压缩编码后通过网口传输给后端设备。DM8147还能在本地完成深度图的获取和分析,进行基于深度信息的智能分析。本硬件平台还支持内置双通道MIC(麦克风)输入,外置音频输出、报警输入输出、Micro SD卡(快闪存储卡)存储、网口连接、RS-485(一种通信接口)通信和RS-232(一种通信接口,是由电子工业协会所制定的异步传输标准接口)调试以及复位按键。
具体地,该同步图像获取装置包括:
(1)图像传感器
本装置所使用图像传感器为IMX138CMOS传感器。像素分辨率为1280*960。CMOS图像传感器工作在从动模式下,接收FPGA的V(垂直)、H(水平)行场同步信号,输出12比特的同步并行数据的信号。由于两个CMOS图像传感器的行场驱动信号均受控于FPGA,能保证同步并行数据的像素级同步。图3所示为IMX138图像传感器的结构框图,该图像传感器的结构为现有技术,这里不再赘述,与本发明相关的重要信息会在以后的说明中给出。
图4为IMX138图像传感器的硬件连接方式。在该同步图像获取装置中,按照图4来设置CMOS图像传感器,其中,电源输入电压,Mode(工作模式)固定为高电平并工作在从动模式下,基准时钟信号(Mclk)来自主板,频率为37.125MHz,复位、SPI(Serial Peripheral Interface,串行外设接口)、V(场同步)和H(行同步)信号均受控于时序控制单元(FPGA),图像传感器输出像素时钟(Dclk)和12比特同步并行数据(D[11:0])的频率为74.125MHz。
该装置所使用镜头为定焦镜头,根据应用场景,可选用4mm、6mm和12mm的镜头。
(2)时序控制单元
本装置使用的时序控制单元为FPGA可编程逻辑器件。图5所示为该时序控制单元的工作框图。FPGA、CMOS图像传感器0和CMOS图像传感器1使用相同的工作时钟,即基准时钟信号Mclk。其在Mclk下通过传感器0V/H和传感器1V/H时序逻辑产生CMOS图像传感器0和CMOS图像传感器1所需的行场同步信号,分成两路输出到CMOS图像传感器0和CMOS图像传感器1上。而且主控和运算单元通过SPI1口与CMOS图像传感器0和CMOS图像传感器1相连,片选CS0用来配置传感器0,片选CS1用来配置传感器1,两个CMOS传感器设置为相同的参数,保证CMOS图像传感器0和CMOS图像传感器1工作完全一致。CMOS图像传感器0和CMOS图像传感器1输出的同步并行数据(即包括同步并行数据“传感器0[11:0]”和与并行数据对应的源同步时钟“传感器0_clk”,同理,对于传感器1,包括“传感器1_clk”和“传感器1[11:0]”)再由FPGA进行采样获取。在FPGA逻辑器件上,可实现对同步并行数据的解析,以提取得到裸数据,从而实现对图像大小的裁剪,以去除图像的非有效数据部分。图6为图像传感器在物理结构上的像素分布情况。如图6所示将记录像素区之外的非有效数据剔除,只保留有效像素分别以外同步数据的方式输出。外同步数据分别包括:行场同步信号、时钟信号和并行12比特的图像有效数据。
SPI2寄存器用以配置时序控制单元中的帧率寄存器。不同的寄存器值,对应不同的帧率。实现方式是在相同的基准时钟下,改变行场同步信号的长度。配置信号由主控和运算单元对时序控制单元进行程序加载配置。复位信号由主控和运算单元对时序控制单元发出,复位完成后,时序控制单元开始工作。
(3)主控和运算单元
如图7所示,本装置使用的主控和运算单元为TI(德州仪器)公司的DM8147,其由DSP(数字信号处理)+ARM处理器组成。该主控和运算单元的运算部分即其内部的DSP主要包括双通道图像处理和传感器控制子单元、深度信息计算子单元、智能分析子单元以及编码子单元。双通道图像处理和传感器控制子单元用以对两路的图像数据进行处理,包括CMOS图像传感器0和CMOS图像传感器1的参数配置(分辨率、输出频率等)、ISP图像处理(白平衡等)、图像传感器曝光控制等,其两个通道完全独立,在算法处理上也是同步操作。对两个图像传感器的参数配置,使用SPI串行通信方式连接到两个CMOS图像传感器上。通过获取的两通道同步图像数据能获得深度信息。基于深度信息进行智能分析,如获取距离定位、目标高度等。上述DSP运算部分还能完成对两通道的并行图像数据、深度数据的编码压缩,通过内部接口输入到ARM主控部分进行网传。DSP运算部分实时分析同步图像数据的信息,实现对红外灯和ICR的控制。DSP运算部分还通过音频CODEC(编解码器)芯片实现本地外部麦克音频的采集编码,同时DSP运算部分可以将网传得到的音频数据通过音频CODEC芯片在本地外接扬声器或者耳机进行播放。同时主控和运算单元还控制部分外设的工作,包括RS485/232串行通信口、报警输入输出接口和SD卡(安全数码卡)等。
(4)外设
外设主要包括有红外灯、复位按钮、网口、音频输出端口、ICR、RS485/232串行通信口和报警输入输出接口。
红外灯以及红外灯控制电路受控于主控和运算单元的DSP运算部分,在日夜工作模式不同时进行打开或者关闭。
ICR以及驱动电路受控于上述DSP运算部分,在日夜工作模式不同时进行切换,实现对光线的滤光。
音频包括有左右声道的MIC、音频CODEC芯片和音频立体声输出接口。MIC和输出接口均需要通过CODEC芯片与上述DSP的音频接口连接。在装置中设计有左右声道的MIC,能实现立体声的音频输入效果。
报警为1路报警输入和1路报警输出。受控于ARM主控部分。
RS485工作在半双工方式下,受控于ARM主控部分。
(5)电源和POE(Power Over Ethernet,有源以太网)
该装置输入电源为12V直流电源,通过内部电源变换,提供各模块所需电源。
装置支持POE供电,AF(以太网供电标准AF)工作方式。
该像素级同步图像装置的具体工作方式如下:
工作方式实施案例一:
以上是对本实施案例一的像素级同步图像获取装置基本组成架构及其每一部分的详细阐述。下面再对如何实现像素级同步图像的获取进行详细说明。
实现像素级同步图像的获取,需要两个CMOS图像传感器和双通道图像处理单元模块。图8所示为实现像素级同步图像获取的装置结构框图。
CMOS图像传感器0和CMOS图像传感器1都工作在从动模式下,主板包括有产生CMOS时序驱动信号的时序控制单元(FPGA电路)和主控和运算单元(具备两通道视频端口的DM8147电路)。CMOS图像传感器0和CMOS图像传感器1以及FPGA逻辑工作在相同的时钟频率下,由晶振提供统一的基准时钟信号Mclk。FPGA通过传感器V/H时序逻辑产生相同的V、H驱动信号给CMOS传感器0和CMOS传感器1,使得CMOS0和CMOS1在相同的时刻曝光和输出同步并行数据,且两个传感器由SPI接口受控于主控和运算单元,统一配置相同的参数(曝光、增益和像素输出频率等)。由于两个CMOS图像传感器均工作在从动模式下,驱动信号相同,配置的参数也完全一致,那么工作方式也完全一致,曝光时刻和输出的同步并行数据能做到像素级的同步。
CMOS图像传感器0和CMOS图像传感器1输出像素时钟Dclk和12比特的并行数据d[11:0]到时序控制单元上,由于电路板设计的缘故,从两个图像传感器到时序控制单元的信号线长度不等长,信号到达时序控制单元的时刻存在小的偏差,即两通道数据传输在板级传输的延时不一样,在到达FPGA管脚时与采样时钟的相位关系也不一致。如图9所示,传感器0和传感器1在时序控制单元的输入端存在像素级的不对齐状况,使用同一个采样时钟进行采样有可能导致其中有一通道的数据采样错误,即不满足建立和保持时间。在时序控制单元中,采用两个采样时钟对传感器0和传感器1进行采样,保证采样正确,再在内部逻辑上使用打拍或者先进先出队列的方式,保证两个通道数据的完全对齐。
在时序控制单元中,还会对同步并行数据进行裁剪(剔除传感器中出来的OB区(光学黑区)和dummy(哑元)的数据)。FPGA再将数据以外同步的方式(Vin0/1V/H、Vin0/1_clk和D[11:0])传给主控和运算单元的两个视频端口。视频端口0和视频端口1是双通道图像处理和传感器控制单元的输入接口,能同步完成对FPGA数据的接收,并且在DSP运算部分内部并行完成两路同步并行数据的存储和图像处理,进一步得到深度图和智能分析结果。整个硬件设计方法能保证双目相机的产生像素级同步的图像数据。
实施案例二:
实施案例二主要在时序控制单元和主控和运算单元上与实施案例一存在不一致。
该实施案例中可以在FPGA内部将两个通道的数据进行组合起来,即通道合并,基本方法如图10所示,要求输出频率翻倍,输入的原始像素时钟为74.25MHz,合并输出后像素时钟为148.5MHz(图中1x与2x相对应,表示2x的频率是1x的两倍)。输出数据按照传感器0、传感器1交错输出。输出数据通过视频端口进入主控和运算单元,要求该单元只需要具备一个视频端口即可,如图11所示。数据到主控和运算单元的DSP内部后,再进行分离,分开进行两路同步并行数据的ISP图像处理。这样的好处是,DSP这端不需要具备两个视频端口,可以将DM8147换成DM8127节省成本。另外,总线可以少掉一路,对布局布线也有好处,该实施案例中像素级同步图像获取装置的其他工作流程与实施案例一中的相同,不再赘述。
本发明第三实施方式涉及一种双目相机的像素级同步图像获取方法。图12是该双目相机的像素级同步图像获取方法的流程示意图。该双目相机的像素级同步图像获取方法该双目相机包括时序控制单元、第一图像传感器和第二图像传感器,时序控制单元、第一和第二图像传感器均工作于基准时钟信号,具体地说,如图12所示,该方法包括以下步骤:
在步骤1201中,使时序控制单元根据基准时钟信号生成行场同步信号。
此后进入步骤1202,使工作于从动模式下的第一和第二图像传感器在行场同步信号的驱动下产生同步并行数据。其中,第一和第二图像传感器具有相同的工作参数。
此后进入步骤1203,将同步并行数据进行图像处理后获得同步图像数据。
在步骤1203之前,还包括以下步骤:
通过两个采样时钟对第一和第二图像传感器产生的两个数据通道的同步并行数据进行同步采样;解析和裁剪同步并行数据。
在步骤1203之后,还包括以下步骤:
从经图像处理后的同步图像数据中获取深度信息,并基于该深度信息进行图像的智能分析。
本实施方式是与第一实施方式相对应的方法实施方式,本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效,为了减少重复,这里不再赘述。相应地,本实施方式中提到的相关技术细节也可应用在第一实施方式中。
本发明的各方法实施方式均可以以软件、硬件、固件等方式实现。不管本发明是以软件、硬件、还是固件方式实现,指令代码都可以存储在任何类型的计算机可访问的存储器中(例如永久的或者可修改的,易失性的或者非易失性的,固态的或者非固态的,固定的或者可更换的介质等等)。同样,存储器可以例如是可编程阵列逻辑(Programmable Array Logic,简称“PAL”)、随机存取存储器(Random Access Memory,简称“RAM”)、可编程只读存储器(Programmable Read Only Memory,简称“PROM”)、只读存储器(Read-Only Memory,简称“ROM”)、电可擦除可编程只读存储器(Electrically Erasable Programmable ROM,简称“EEPROM”)、磁盘、光盘、数字通用光盘(Digital Versatile Disc,简称“DVD”)等等。
需要说明的是,在本专利的权利要求和说明书中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
虽然通过参照本发明的某些优选实施方式,已经对本发明进行了图示和描述,但本领域的普通技术人员应该明白,可以在形式上和细节上对其作各种改变,而不偏离本发明的精神和范围。

Claims (10)

1.一种双目相机的像素级同步图像获取装置,其特征在于,包括:
时序控制单元,以可编程逻辑器件实现,用于根据输入的基准时钟信号生成行场同步信号;
第一和第二图像传感器,工作于从动模式,用于在所述行场同步信号的驱动下产生同步并行数据;
图像处理单元,用于将所述同步并行数据进行图像处理后获得同步图像数据;
其中,所述第一和第二图像传感器均工作于基准时钟信号且具有相同的工作参数。
2.根据权利要求1所述的双目相机的像素级同步图像获取装置,其特征在于,还包括以下单元:
同步采样单元,用于同步采样第一和第二图像传感器产生的所述同步并行数据。
3.根据权利要求2所述的双目相机的像素级同步图像获取装置,其特征在于,所述同步采样单元的同步采样通过以下方式实现:
采用与同步并行数据同时被第一和第二图像传感器输出的两个源同步时钟,对分别对应的两个数据通道的同步并行数据进行同步采样。
4.根据权利要求1所述的双目相机的像素级同步图像获取装置,其特征在于,还包括以下单元:
参数设置单元,用于设置所述第一和第二图像传感器具有相同的工作参数;
解析裁剪单元,用于解析和裁剪所述同步并行数据。
5.根据权利要求1所述的双目相机的像素级同步图像获取装置,其特征在于,还包括以下单元:
智能处理单元,用于从图像处理单元处理后的同步图像数据中获取深度信息,并基于该深度信息进行图像的智能分析。
6.根据权利要求1至5中任一项所述的双目相机的像素级同步图像获取装置,其特征在于,所述图像传感器为CMOS传感器,所述时序控制单元为现场可编程门阵列。
7.一种双目相机的像素级同步图像获取方法,其特征在于,该双目相机包括以可编程逻辑器件实现的时序控制单元、第一图像传感器和第二图像传感器,所述时序控制单元、第一和第二图像传感器均工作于基准时钟信号,该方法包括以下步骤:
使时序控制单元根据基准时钟信号生成行场同步信号;
使工作于从动模式下的第一和第二图像传感器在所述行场同步信号的驱动下产生同步并行数据;
将所述同步并行数据进行图像处理后获得同步图像数据;
其中,第一和第二图像传感器具有相同的工作参数。
8.根据权利要求7所述的双目相机的像素级同步图像获取方法,其特征在于,在所述将所述同步并行数据进行图像处理后获得同步图像数据的步骤之前,还包括以下步骤:
采用与同步并行数据同时被第一和第二图像传感器输出的两个源同步时钟,对分别对应的两个数据通道的同步并行数据进行同步采样。
9.根据权利要求7所述的双目相机的像素级同步图像获取方法,其特征在于,在所述将所述同步并行数据进行图像处理后获得同步图像数据的步骤之后,还包括以下步骤:
从经图像处理后的同步图像数据中获取深度信息,并基于该深度信息进行图像的智能分析。
10.根据权利要求7所述的双目相机的像素级同步图像获取方法,其特征在于,在所述将所述同步并行数据进行图像处理后获得同步图像数据的步骤之前,还包括以下步骤:
解析和裁剪同步并行数据。
CN201410042307.8A 2014-01-28 2014-01-28 双目相机的像素级同步图像获取装置及其方法 Pending CN104717480A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410042307.8A CN104717480A (zh) 2014-01-28 2014-01-28 双目相机的像素级同步图像获取装置及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410042307.8A CN104717480A (zh) 2014-01-28 2014-01-28 双目相机的像素级同步图像获取装置及其方法

Publications (1)

Publication Number Publication Date
CN104717480A true CN104717480A (zh) 2015-06-17

Family

ID=53416374

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410042307.8A Pending CN104717480A (zh) 2014-01-28 2014-01-28 双目相机的像素级同步图像获取装置及其方法

Country Status (1)

Country Link
CN (1) CN104717480A (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105898283A (zh) * 2016-06-21 2016-08-24 北京奇虎科技有限公司 同步拍摄电路、装置和方法
CN107172371A (zh) * 2017-06-28 2017-09-15 高感(北京)科技有限公司 一种多镜头相机同步曝光控制***及方法
CN107205124A (zh) * 2017-06-28 2017-09-26 高感(北京)科技有限公司 一种多镜头倾斜摄影设备及方法
CN107343120A (zh) * 2017-06-30 2017-11-10 维沃移动通信有限公司 一种图像数据的处理方法和移动终端
CN107360345A (zh) * 2017-06-30 2017-11-17 维沃移动通信有限公司 一种图像数据的处理方法和移动终端
CN107710753A (zh) * 2015-06-30 2018-02-16 罗伯特·博世有限公司 分散式同步的多传感器***
CN107948463A (zh) * 2017-11-30 2018-04-20 北京图森未来科技有限公司 一种相机同步方法、装置及***
CN108171682A (zh) * 2017-12-04 2018-06-15 北京中科慧眼科技有限公司 基于远景的双目同步曝光率检测方法、***及存储介质
CN108307176A (zh) * 2016-08-24 2018-07-20 法乐第(北京)网络科技有限公司 一种多目立体视觉***的控制方法
CN108307177A (zh) * 2016-08-24 2018-07-20 法乐第(北京)网络科技有限公司 多目立体视觉***及车辆
CN110361092A (zh) * 2018-04-11 2019-10-22 杭州海康威视数字技术股份有限公司 一种图像配准方法、装置及热成像摄像机
CN110381272A (zh) * 2019-08-22 2019-10-25 睿镞科技(北京)有限责任公司 图像传感器组合***及产生单一和复合视野图像的装置
CN112004023A (zh) * 2020-08-31 2020-11-27 深圳创维数字技术有限公司 拍摄方法、多摄像头模组以及存储介质
CN116095517A (zh) * 2022-08-31 2023-05-09 荣耀终端有限公司 虚化方法和装置
CN117880623A (zh) * 2024-03-11 2024-04-12 厦门瑞为信息技术有限公司 双目镜头的同步方法及接收端获取同步图像的方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101277454A (zh) * 2008-04-28 2008-10-01 清华大学 一种基于双目摄像机的实时立体视频生成方法
CN101321301A (zh) * 2008-07-08 2008-12-10 浙江大学 摄像机阵列同步视频采集处理***
CN201199315Y (zh) * 2008-05-21 2009-02-25 北京微视新纪元科技有限公司 多目相机
CN201349262Y (zh) * 2009-02-11 2009-11-18 北京微视新纪元科技有限公司 多目相机
CN101790106A (zh) * 2010-03-12 2010-07-28 杭州电子科技大学 双目视频同步采集设备
CN201708890U (zh) * 2010-08-17 2011-01-12 华东师范大学 一种3d数字视频信号处理装置
CN201928379U (zh) * 2010-10-28 2011-08-10 上海德致伦电子科技有限公司 用于立体视觉的双目成像设备及双目视频监控***
CN102226852A (zh) * 2011-06-13 2011-10-26 广州市晶华光学电子有限公司 一种数码体视显微镜的成像***
CN102256151A (zh) * 2011-07-14 2011-11-23 深圳市掌网立体时代视讯技术有限公司 一种双光路单传感器合成模组及三维成像装置
CN102256150A (zh) * 2011-07-14 2011-11-23 深圳市掌网立体时代视讯技术有限公司 一种双光路双传感器合成模组及三维成像装置
CN103475843A (zh) * 2013-09-25 2013-12-25 武汉精立电子技术有限公司 双link的lvds视频信号转换为mipi视频信号方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101277454A (zh) * 2008-04-28 2008-10-01 清华大学 一种基于双目摄像机的实时立体视频生成方法
CN201199315Y (zh) * 2008-05-21 2009-02-25 北京微视新纪元科技有限公司 多目相机
CN101321301A (zh) * 2008-07-08 2008-12-10 浙江大学 摄像机阵列同步视频采集处理***
CN201349262Y (zh) * 2009-02-11 2009-11-18 北京微视新纪元科技有限公司 多目相机
CN101790106A (zh) * 2010-03-12 2010-07-28 杭州电子科技大学 双目视频同步采集设备
CN201708890U (zh) * 2010-08-17 2011-01-12 华东师范大学 一种3d数字视频信号处理装置
CN201928379U (zh) * 2010-10-28 2011-08-10 上海德致伦电子科技有限公司 用于立体视觉的双目成像设备及双目视频监控***
CN102226852A (zh) * 2011-06-13 2011-10-26 广州市晶华光学电子有限公司 一种数码体视显微镜的成像***
CN102256151A (zh) * 2011-07-14 2011-11-23 深圳市掌网立体时代视讯技术有限公司 一种双光路单传感器合成模组及三维成像装置
CN102256150A (zh) * 2011-07-14 2011-11-23 深圳市掌网立体时代视讯技术有限公司 一种双光路双传感器合成模组及三维成像装置
CN103475843A (zh) * 2013-09-25 2013-12-25 武汉精立电子技术有限公司 双link的lvds视频信号转换为mipi视频信号方法

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107710753B (zh) * 2015-06-30 2021-07-20 罗伯特·博世有限公司 分散式同步的多传感器***
US10666836B2 (en) 2015-06-30 2020-05-26 Robert Bosch Gmbh Decentrally synchronized multi-sensor system
CN107710753A (zh) * 2015-06-30 2018-02-16 罗伯特·博世有限公司 分散式同步的多传感器***
CN105898283A (zh) * 2016-06-21 2016-08-24 北京奇虎科技有限公司 同步拍摄电路、装置和方法
CN108307176A (zh) * 2016-08-24 2018-07-20 法乐第(北京)网络科技有限公司 一种多目立体视觉***的控制方法
CN108307177A (zh) * 2016-08-24 2018-07-20 法乐第(北京)网络科技有限公司 多目立体视觉***及车辆
CN107172371A (zh) * 2017-06-28 2017-09-15 高感(北京)科技有限公司 一种多镜头相机同步曝光控制***及方法
CN107205124A (zh) * 2017-06-28 2017-09-26 高感(北京)科技有限公司 一种多镜头倾斜摄影设备及方法
CN107360345B (zh) * 2017-06-30 2019-06-07 维沃移动通信有限公司 一种图像数据的处理方法和移动终端
CN107343120A (zh) * 2017-06-30 2017-11-10 维沃移动通信有限公司 一种图像数据的处理方法和移动终端
CN107360345A (zh) * 2017-06-30 2017-11-17 维沃移动通信有限公司 一种图像数据的处理方法和移动终端
CN107948463A (zh) * 2017-11-30 2018-04-20 北京图森未来科技有限公司 一种相机同步方法、装置及***
CN107948463B (zh) * 2017-11-30 2020-06-23 北京图森智途科技有限公司 一种相机同步方法、装置及***
CN108171682A (zh) * 2017-12-04 2018-06-15 北京中科慧眼科技有限公司 基于远景的双目同步曝光率检测方法、***及存储介质
CN110361092A (zh) * 2018-04-11 2019-10-22 杭州海康威视数字技术股份有限公司 一种图像配准方法、装置及热成像摄像机
US11825181B2 (en) 2019-08-22 2023-11-21 Rayz Technologies Co. Ltd. System with image sensors combination and device for generating single and compound field of view images
CN110381272A (zh) * 2019-08-22 2019-10-25 睿镞科技(北京)有限责任公司 图像传感器组合***及产生单一和复合视野图像的装置
CN112004023A (zh) * 2020-08-31 2020-11-27 深圳创维数字技术有限公司 拍摄方法、多摄像头模组以及存储介质
CN116095517A (zh) * 2022-08-31 2023-05-09 荣耀终端有限公司 虚化方法和装置
CN116095517B (zh) * 2022-08-31 2024-04-09 荣耀终端有限公司 虚化方法、终端设备和可读存储介质
CN117880623A (zh) * 2024-03-11 2024-04-12 厦门瑞为信息技术有限公司 双目镜头的同步方法及接收端获取同步图像的方法
CN117880623B (zh) * 2024-03-11 2024-05-28 厦门瑞为信息技术有限公司 双目镜头的同步方法及接收端获取同步图像的方法

Similar Documents

Publication Publication Date Title
CN104717480A (zh) 双目相机的像素级同步图像获取装置及其方法
US10116915B2 (en) Cleaning of depth data by elimination of artifacts caused by shadows and parallax
CN104270567B (zh) 高精度同步的多路图像采集***及其时间同步方法
US10122998B2 (en) Real time sensor and method for synchronizing real time sensor data streams
CN105376530B (zh) 一种基于固定位置的全景视频图像生成装置
CN106576160B (zh) 用于具有模式切换的深度相机模式的成像架构
CN104813659B (zh) 视频帧处理方法
US10743002B2 (en) Sequential in-place blocking transposition for image signal processing
CN106294234A (zh) 一种数据传输方法及装置
CN102057365A (zh) 用于3d绘图的集成处理器
CN105611270B (zh) 一种双目视觉自由立体显示***
CN105430368A (zh) 一种两视点立体图像合成方法及***
CN103442180B (zh) 基于sopc的双目视频拼装置及双目视频拼接方法
WO2010004417A3 (en) Method for distributed and minimum-support point matching in two or more images of 3d scene taken with video or stereo camera.
CN101227625A (zh) 采用fpga的立体图像处理装置
CN104506888A (zh) 时钟同步装置、方法和***
CN104581075B (zh) 基于异构平台的全景视频处理***及方法
CN110225316A (zh) 一种软硬协同的多路视频处理装置及***
RU2746344C2 (ru) Способ и устройство для кодирования сигнала, представляющего содержимое светового поля
CN103024430A (zh) 模拟rgb信号的控制显示方法和***
CN103369338B (zh) 基于fpga的近眼双目成像***的图像处理***及方法
US20180211413A1 (en) Image signal processing using sub-three-dimensional look-up tables
CN205453872U (zh) 多目摄像机
CN105007444B (zh) 一种单像素视频显示装置及显示方法
CN2912166Y (zh) 一种多路视频输入装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20150617

RJ01 Rejection of invention patent application after publication