CN105160703A - 一种使用时域视觉传感器的光流计算方法 - Google Patents
一种使用时域视觉传感器的光流计算方法 Download PDFInfo
- Publication number
- CN105160703A CN105160703A CN201510525146.2A CN201510525146A CN105160703A CN 105160703 A CN105160703 A CN 105160703A CN 201510525146 A CN201510525146 A CN 201510525146A CN 105160703 A CN105160703 A CN 105160703A
- Authority
- CN
- China
- Prior art keywords
- time
- optical flow
- formula
- pixel
- gradient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种使用时域视觉传感器的光流计算方法,并给出具体实现步骤。与目前采用“帧序列图像(视频)”进行光流计算的方法不同,本发明的视觉信息采集器件—时域视觉传感器的输出来进行视场的光流计算。此外由于各像素自主地进行变化检测和异步输出,因此能够实时感知场景中目标的运动与变化,很好地满足微分光流计算方法中“亮度不变与局部速度不变”的连续性假设,在明显改善光流计算的精度同时,大大提高了光流计算的实时性,因此非常适合于高速运动目标的光流计算以及后续的进而进行跟踪与测速。
Description
技术领域
本发明涉及计算机视觉、图像处理以及图像传感器设计等多个技术领域,更具体的说是一种使用时域视觉传感器的光流计算的方法。
背景技术
光流
光流(Optic flow,亦称为图像流)是指当三维空间中的运动目标成像于二维图像平面时所产生的运动投影,这种二维投影以图像亮度“流动”的方式表现出来,称之为光流。研究光流场的目的是为了从序列图像中近似计算不能直接得到的三位空间运动场。
光流分析是视频分析的重要研究方向之一,借助光流分析能够有效进行运动目标检测与跟踪和分割。光流分析已经在在机器人、军事、航空航天、工业交通工业、医学与气象等多个领域具有广泛应用。机器视觉***通过对场景进行光流分析来进行基于视觉的各种操作,例如机器人自动导航和障碍物躲避;无人航天器自动着陆和路径设计,导弹精确制导和目标选择等。目前光流研究主要集中于在特有硬件平台上实现算法以及新算法的设计。
Gibson和Wallach等在上世纪50年代首次提出能够从二维平面的光流场可以恢复空间三维运动与结构参数的假设。1981年由Hom和schunck提出第一种实际有效的光流计算方法,成为光流算法发展的基石。此后关于光流的研究成为计算机视觉领域的热点,产生了大量研究成果。这些方法可分为微分法、匹配法、能量法、相位法以及神经动力学法几大类。其中微分法具有较好的综合性能,计算量相对较小且效果较好,因此在实际中得到广泛的使用。它利用时变图像(视频)灰度值的时域与空域微分(梯度函数)来计算像素的速度矢量。微分法主要包括:1、Horn-sehunek全局平滑法;2、Lucas-Kanade局部平滑法;3、Nagel有向平滑法等具体算法。
微分法光流基于亮度恒定假设。该假设认为物体在空间做相对连续运动,运动过程中投射到视网膜(或图像传感器)上的图像连续变化。具体表述为“对一组连续的二维图像序列中某个目标的运动而言,沿该运动轨迹曲线上的各帧像素点具有相同的灰度值。设t时刻图像中像素点(x ,y)的灰度值为I(x,y,t),它是t时刻物体上点(X,Y,Z)在图像上的像。在t+∆t时刻时,该运动到(X+∆X,Y+∆Y,Z+∆Z),其图像上的像变为(x+∆x,y+∆y),t+∆t时图像点(x+∆x,y+∆y)处的灰度值为I(x+∆x, y+∆y,t+∆t)。当时间变化量很小时,根据亮度恒常假设,像素灰度值保持不变:
u, v即为t时刻图像点(x,y)在x及y方向上的速度分量,因此关于光流(u,v)的线性方程为:
上式即为光流约束方程,其中Ix、Iy为点(x,y)处亮度的空间梯度,It为该点的时间梯度,这三个值均可通过连续图像帧求得。上式中由于存在u、v两个未知数,因此是不适定的(不存在唯一解)。这是由于将空间的三维运动投影到平面的二维表示所造成的,因此为了求解每个像素点的u、v,还需要加上其他的约束条件,例如Horn-sehunek提出的全局平滑假定、Lucas-Kanade提出的局部平滑假定等。
根据Lucas-Kanade提出的局部平滑假定,以(x,y)为中心的小区域内的像素点具有相同的速度(u,v),即:
上式中I1,I2,……,Im是一个小区域(通常取)内的相邻像素。由于m>2,因此可以采用最小均方误差法求解光流(u,v)。
在基于帧图像的光流分析方法中,可以使用以下格式计算像素(i.j)处的Ix 、Iy、It:
式(6~8),各参数含义如下:
f(x,y,t)表示视频中t时刻的图像中(x,y)点处的亮度,像素的分布如图3所示。小区域Ω内的最小误差可以采用如下公式:
二维高斯函数图形分布见图4。
使用以上各公式,采用最小均方误差法计算使小区域Ω内光流误差最小的光流(u,v)。
虽然微分光流技术研究已经取得了大量成果并在实际工程中获得了大量使用,但仍然面临以下难题:
(1)亮度恒定假设对于大多数自然视频图像是不合适的,特别是当图像中存在遮挡或运动速度较高时;
(2)当图像存在遮挡时,速度场会发生突变,各种平滑约束会使得物体形状被扭曲;
(3)微分光流的前提是图像连续可微,如果图像空间梯度变化较大时,会对光流分析的精度产生严重影响。
由以上分析可见,图像拍摄帧频是影响光流分析准确性的重要因素。由于目前普通相机的拍摄速度为30~60帧/每秒,因此对高速运动目标的光流分析显然会产生与连续性假设不符合的矛盾。如果拍摄速度足够快(各帧图像间的时间间隔足够小),则上述问题会得到有效解决;但与此同时,高帧频会使得计算量激增,实时光流分析难以实现。
视觉传感器
依据成像使用的“光--电转换”原理,当前使用的图像传感器芯片(CCD及CMOS)都是基于“帧采样”方式模式的:
(1)所有像素同时复位后开始感光(收集光电荷),在达到设定曝光时间后停止感光;
(2)依次读出每个像素所收集的光电荷,并将其转换为电压;
(3)该电压经模数转换后变为数字量,输出后存储。该数字量即为该点的亮度值。所有像素亮度值组成的二维矩阵即为所拍摄图像。
在使用上述“帧采样”图像传感器相机的机器视觉***中,图像序列(视频)的拍摄速度通常为30-60帧/秒,继而又计算机执行图像处理算法提取目标并进行判别与分析。
上述“帧采样”成像方式存在的缺点:
(1)背景数据冗余。相邻两帧间存在大量的冗余背景信息,不变的背景区域被重复采样读出,对***的处理和存储能力带来巨大压力。拍摄速度越高,则传输、存储和处理压力越大;
(2)高响应延迟。场景中的变化不能立即被图像传感器感知并输出,而必须按照“帧”的节奏被感知和输出。这种高响应延迟对于高速运动目标的跟踪与识别非常不利,运动速度越快则检测结果的间断性和误差越明显;
近年来,研究者依据生物视觉“变化采样”的原理,采用超大规模集成电路(VLSI)技术设计出新型工作模式的“视觉传感器(Vision Sensor, VS)”。原理包括:
(1)、生物视觉***不以“帧”的方式进行成像,视觉感光细胞只对变化敏感,并将这种变化以神经脉冲的方式传递到大脑视皮层进行处理;
(2)、模仿生物视觉的成像机理,VS像素只对场景中的“变化事件(Activity Event, AE)”敏感并采样输出。按其性质,AE可分为空间变化(某像素与其周边像素的亮度关系发生变化)和时间变化(像素自身的亮度发生变化)两大类。时域变化敏感的视觉传感器称之为时域视觉传感器(Temporal Vision Sensor,TVS);
(3)、TVS中的各像素自主地检测所感受的光强是否发生变化。具体方法是每个像素周期测量单位时间内的光生电流的变化量。当单位时间内光生电流的变化量超过设定的阈值时,表示该点的光强发生变化,因此每次AE即表明光强发生了固定的变化量。像素产生的AE通过串行总线异步输出,像素间互不关联;
(4)、通常采用称为“地址事件表示(Address-Event-Representation,AER)”的方法表示AE,即AE=(x,y,P),其中(x,y)为像素在像素阵列中的行列地址,P表示变化的属性(例如光强增加为“1”,减小为“0”);
(5)、TVS输出的每个AE被后端***赋予一个时间戳T,该时间戳指出AE的具体输出时间,即AE=(x,y,P,T)。
由以上介绍可见,TVS与传统“帧采样”图像传感器相比,其最突出的优点是:
(1)、输出数据量小,无冗余信息。输出数据只包括场景中的变化信息,数据量通常为“帧采样”方式的5~10%;
(2)、实时性高。像素能够立即感知亮度的变化并输出,“变化-输出”的延迟可以减小到微秒级,相当于几千~几万帧的拍摄速度。附图1给出了普通“帧采样”图像传感器与时域视觉传感器的拍摄效果比较。
发明内容
本发明提出一种使用时域视觉传感器(TVS)的微分光流计算方法。使用TVS作为视觉输入源,基于“亮度恒定”和“局部速度不变”的微分光流分析原理,使用“表示亮度变化的活跃事件(AE)”序列进行光照变化空间梯度以及时间梯度的计算,通过最小二乘法进行光流计算分析。为实现此目的,本发明公开了如下的技术内容:
一种使用时域视觉传感器的光流计算方法,其特征在于以Lucas-Kanade提出的局部平滑假定为基础,使用TVS输出的AE序列完成空间梯度与时间梯度的计算:包括
(
1
)计算空间梯度:
Ix、Iy为像素点(x,y)处亮度的空间梯度(变化),使用各像素点与其邻居像素在过去一段时间Δ t 内的累计 AE 数之差来计算空间梯度,综合考虑检测线宽、TVS噪声特性及实时计算的特点,空间梯度计算公式为:
上式中AE(x,y,t)表示t时刻像素(x,y)处产生的AE,Δt为算法设定的计算间隔,由目标的运动速度设定,建议值50~200us,帧采样情况下时间分辨率相当于20000~5000帧/每秒;
(
2
)时间梯度:
时间梯度表示像素感受光强的变化速度,其计算公式:
上式通过计算Δt时间间隔内像素点(x,y)产生的AE总数与Δt的比值来获得(x,y)点处的空间梯度。
(
3
)基于
TVS
的光流算法
使用TVS输出的AE序列表示的微分光流约束方程为:
算法连续读入TVS产生的AE,每当读入一个AE,根据其地址,按照式(1~3)计算该点及其周围小区域内各点的空间梯度和时间梯度,按照局部平滑假定使用最小均方误差法求解其光流;
算法流程:
1)算法初始化,建立按时间排序的每个像素的AE队列及其光流队列;定义小区域大小为(n*n)和计算时间间隔Δt;当前时刻T=0;
2)读入AE(x,y,t),更新当前时间T=t,按地址更新AE列表;
3)如果T<Δt,返回(2),否则转(4);
4)按照式(1~3)计算以(x,y)为中心的小区域Ω内各点的空间梯度与时间梯度;
5)使用下式
采用最小均方误差法计算当前时间(x,y)点处的光流(u,v),更新(x,y)点的光流队列;
6)返回(2),循环执行上述过程;
7)拍摄场景中各点不同时刻的光流记录在每点的光流队列中。
本发明公开的使用视觉传感器的光流计算方法与目前采用“帧序列图像(视频)”进行光流计算的方法不同,本发明采用一种新型视觉信息采集器件—时域视觉传感器(Temporal Vision Sensor,
TVS)的输出来进行视场的光流计算。由于这种图像采集设备只对拍摄场景中的光强变化敏感和采样,因此输出中不包含静止的背景,极大减少了冗余信息和输出数据量,进而显著降低后端处理算法的运算时间和资源需求。此外由于各像素自主地进行变化检测和异步输出,因此能够实时感知场景中目标的运动与变化,很好地满足微分光流计算方法中“亮度不变与局部速度不变”的连续性假设,在明显改善光流计算的精度同时,大大提高了光流计算的实时性,因此非常适合于高速运动目标的光流计算以及后续的进而进行跟踪与测速。
本发明提出的光流计算方法基于“亮度恒定”和“局部速度不变”原理,使用TVS作为视觉输入源,使用“表示亮度变化的活跃事件(AE)”序列进行光照变化空间梯度以及时间梯度的计算,通过最小二乘法和基于二维高斯函数的误差函数来完成计算光流。
本发明公开的使用时域视觉传感器的光流计算方法与现有技术相比所具有的积极效果在于:
发明以TDS为输入源,利用其产生的AE序列,采用微分光流分析方法进行光流计算。TVS采用变化采样、异步输出、地址事件表示的成像原理,因此具有极低数据冗余、高实时性与时间分辨率的特殊优势,非常适合应用于描述运动目标的光流分析:
(1)同时由于采用“变化采样+像素异步输出”的采样原理,因此场景中的变化能够以微秒级、毫秒级被感知和输出,相当于帧采样下的几千~几万帧/每秒。如此高的时间分辨率将使得微分光流分析的“亮度恒定”和“光流局部平滑”假设得到很好的满足,因此具有更高的计算精度;
(2)TVS的数据输出量通常只有“帧采样”图像传感器的5-10%,因此计算量大为降低,可以实现低成本的实时光流分析。
附图说明
图1为普通“帧采样”图像传感器与时域视觉传感器(TVS)面对同样场景的拍摄效果比较。帧图像对场景中的每一点进行光强记录与输出,而TVS只对场景中的变化进行采样输出,因此记录了场景中运动的目标(人体)运行情况(位置VS时间),而场景中保持不变的背景信息则被忽视;
图2给出三维空间运动投影到二维成像平面的示意图。空间某点在t时刻的世界坐标系(三维)位置为(X1,Y1,Z1),在二维成像坐标系中的对应位置为(x1,y1);经过Δt时间,该点运动到(X1+ΔX,Y1+ΔY,Z1+ΔZ),对应的二维成像位置为(x1+Δx,y1+Δy)。则该点的光流为(u, v)=(Δx/Δt, Δy/Δt);
图3给出用于空间梯度计算的二维坐标。左上角像素坐标为(1,1)。当计算像素点(i,j)的水平方向梯度时,使用与其同列的上下相邻像素;当计算其垂直梯度时,使用与其同行的左右相邻像素;
图4为计算均方误差中使用二维高斯函数空间分布图,距离中心像素(i,j)越远的像素在总误差中所占比例越小;
图5为本发明提出的光流计算流程图,详见算法说明。
具体实施方式
为了简单和清楚的目的,下文恰当的省略了公知技术的描述,以免那些不必要的细节影响对本技术方案的描述。以下结合较佳实施例,对本发明做进一步的描述。
实施例1
本发明使用TVS的微分光流计算方法:以Lucas-Kanade提出的局部平滑假定为基础,使用TVS输出的AE序列完成空间梯度与时间梯度的计算。
空间梯度
Ix、Iy为像素点(x,y)处亮度的空间梯度(变化)。在基于帧图像的方法中使用像素点(x,y)与其周边邻居像素的亮度差异来表示光强的变化。本发明使用各像素点与其邻居像素在过去一段时间Δ t 内的累计 AE 数之差来计算空间梯度。综合考虑检测线宽、TVS噪声特性及实时计算的特点,空间梯度计算公式为:
上式中AE(x,y,t)表示t时刻像素(x,y)处产生的AE,Δt为算法设定的计算间隔,由目标的运动速度设定,建议值50~200us(帧采样情况下时间分辨率相当于20000~5000帧/每秒)。上述公式的原理是:
(1)TVS像素在确定时间内检测到超过预设定阈值的光电流变化时会发出一个AE,因此每个AE代表了相同的变化幅值;
(2)物体运动会导致各个像素点的光强发生变化,基于亮度恒定前提,光强大的点从一个像素移动到另一个像素时会产生更多的AE,因此两点间绝对亮度差可以用他们产生的单向(增加或减小)AE事件数之差来代表;
(3)由于TVS像素相继产生AE的时间间隔通常几十ns,因此Δt可以小于几百us,因此由于运动导致的变化采样连续性很高。与采样间隔通常为几十ms的帧采样方式相比,更加符合微分光流分析的理论前提。
时间梯度
时间梯度表示像素感受光强的变化速度。本发明使用单位时间像素产生AE的速率衡量时间梯度,效果与使用前后帧亮度差的原理相同,但是由于AE采样的间隔非常短,因此时间梯度的计算精度和连续性大大提高。计算公式:
上式通过计算Δt时间间隔内像素点(x,y)产生的AE总数与Δt的比值来获得(x,y)点处的空间梯度。
基于
TVS
的光流算法
使用TVS输出的AE序列表示的微分光流约束方程为:
算法连续读入TVS产生的AE。每当读入一个AE,根据其地址,按照式(1~3)计算该点及其周围小区域内各点的空间梯度和时间梯度,按照局部平滑假定使用最小均方误差法求解其光流。
算法流程:
(1)算法初始化,建立按时间排序的每个像素的AE队列及其光流队列;定义小区域大小为(n*n)和计算时间间隔Δt;当前时刻T=0;
(2)读入AE(x,y,t),更新当前时间T=t,按地址更新AE列表;
(3)如果T<Δt,返回(2),否则转(4);
(4)按照式(1~3)计算以(x,y)为中心的小区域Ω内各点的空间梯度与时间梯度;
(5)使用下式
采用最小均方误差法计算当前时间(x,y)点处的光流(u,v),更新(x,y)点的光流队列;
(6)返回(2),循环执行上述过程;
(7)拍摄场景中各点不同时刻的光流记录在每点的光流队列中,算法流程图见图5。
Claims (1)
1.一种使用时域视觉传感器的光流计算方法,其特征在于以Lucas-Kanade提出的局部平滑假定为基础,使用TVS输出的AE序列完成空间梯度与时间梯度的计算:包括
(
1
)计算空间梯度:
Ix、Iy为像素点(x,y)处亮度的空间梯度变化,使用各像素点与其邻居像素在过去一段时间Δ t 内的累计 AE 数之差来计算空间梯度,综合考虑检测线宽、TVS噪声特性及实时计算的特点,空间梯度计算公式为:
(式1)
(式2)
上式中AE(x,y,t)表示t时刻像素(x,y)处产生的AE,Δt为算法设定的计算间隔,由目标的运动速度设定,建议值50~200us,帧采样情况下时间分辨率相当于20000~5000帧/每秒;
(
2
)时间梯度:
时间梯度表示像素感受光强的变化速度,其计算公式:
(式3)
上式通过计算Δt时间间隔内像素点(x,y)产生的AE总数与Δt的比值来获得(x,y)点处的空间梯度;
(
3
)基于
TVS
的光流算法
使用TVS输出的AE序列表示的微分光流约束方程为:
(式4)
算法连续读入TVS产生的AE,每当读入一个AE,根据其地址,按照式(1~3)计算该点及其周围小区域内各点的空间梯度和时间梯度,按照局部平滑假定使用最小均方误差法求解其光流;
算法流程:
1)算法初始化,建立按时间排序的每个像素的AE队列及其光流队列;定义小区域大小为和计算时间间隔Δt;当前时刻T=0;
2)读入AE(x,y,t),更新当前时间T=t,按地址更新AE列表;
3)如果T<Δt,返回(2),否则转(4);
4)按照式(1~3)计算以(x,y)为中心的小区域Ω内各点的空间梯度与时间梯度;
5)使用下式
(式5)
以及式(6~7)定义的误差计算函数:
(式6)
(式7)
采用最小均方误差法计算当前时间(x,y)点处的光流(u,v),更新(x,y)点的光流队列;
6)返回(2),循环执行上述过程;
7)拍摄场景中各点不同时刻的光流记录在每点的光流队列中。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510525146.2A CN105160703B (zh) | 2015-08-25 | 2015-08-25 | 一种使用时域视觉传感器的光流计算方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510525146.2A CN105160703B (zh) | 2015-08-25 | 2015-08-25 | 一种使用时域视觉传感器的光流计算方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105160703A true CN105160703A (zh) | 2015-12-16 |
CN105160703B CN105160703B (zh) | 2018-10-19 |
Family
ID=54801545
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510525146.2A Expired - Fee Related CN105160703B (zh) | 2015-08-25 | 2015-08-25 | 一种使用时域视觉传感器的光流计算方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105160703B (zh) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105957060A (zh) * | 2016-04-22 | 2016-09-21 | 天津师范大学 | 一种基于光流分析的tvs事件分簇方法 |
CN106127800A (zh) * | 2016-06-14 | 2016-11-16 | 天津大学 | 基于aer图像传感器的实时多物体追踪方法和装置 |
CN107220942A (zh) * | 2016-03-22 | 2017-09-29 | 三星电子株式会社 | 用于动态视觉传感器的图像表示和处理的方法和装置 |
CN107764271A (zh) * | 2017-11-15 | 2018-03-06 | 华南理工大学 | 一种基于光流的可见光视觉动态定位方法及*** |
CN108288289A (zh) * | 2018-03-07 | 2018-07-17 | 华南理工大学 | 一种用于可见光定位的led视觉检测方法及其*** |
CN108574793A (zh) * | 2017-03-08 | 2018-09-25 | 三星电子株式会社 | 被配置为重新生成时间戳的图像处理设备及包括其在内的电子设备 |
CN108961318A (zh) * | 2018-05-04 | 2018-12-07 | 上海芯仑光电科技有限公司 | 一种数据处理方法及计算设备 |
CN105719290B (zh) * | 2016-01-20 | 2019-02-05 | 天津师范大学 | 一种使用时域视觉传感器的双目立体深度匹配方法 |
CN109461173A (zh) * | 2018-10-25 | 2019-03-12 | 天津师范大学 | 一种用于时域视觉传感器信号处理的快速角点检测方法 |
CN109509213A (zh) * | 2018-10-25 | 2019-03-22 | 天津师范大学 | 一种应用于异步时域视觉传感器的Harris角点检测方法 |
CN109785365A (zh) * | 2019-01-17 | 2019-05-21 | 西安电子科技大学 | 地址事件驱动非结构化信号的实时目标跟踪方法 |
CN110692083A (zh) * | 2017-05-29 | 2020-01-14 | 苏黎世大学 | 用于动态视觉传感器的块匹配光流和立体视觉 |
CN111951558A (zh) * | 2020-08-21 | 2020-11-17 | 齐鲁工业大学 | 应用于交通预警机器人的机器视觉***及方法 |
CN112435279A (zh) * | 2019-08-26 | 2021-03-02 | 天津大学青岛海洋技术研究院 | 一种基于仿生脉冲式高速相机的光流转换方法 |
WO2022257035A1 (en) * | 2021-06-09 | 2022-12-15 | Nvidia Corporation | Computing motion of pixels among images |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6480615B1 (en) * | 1999-06-15 | 2002-11-12 | University Of Washington | Motion estimation within a sequence of data frames using optical flow with adaptive gradients |
CN103516946A (zh) * | 2012-06-19 | 2014-01-15 | 三星电子株式会社 | 基于事件的图像处理设备和方法 |
CN104205169A (zh) * | 2011-12-21 | 2014-12-10 | 皮埃尔和玛利居里大学(巴黎第六大学) | 基于异步光传感器估计光流的方法 |
-
2015
- 2015-08-25 CN CN201510525146.2A patent/CN105160703B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6480615B1 (en) * | 1999-06-15 | 2002-11-12 | University Of Washington | Motion estimation within a sequence of data frames using optical flow with adaptive gradients |
CN104205169A (zh) * | 2011-12-21 | 2014-12-10 | 皮埃尔和玛利居里大学(巴黎第六大学) | 基于异步光传感器估计光流的方法 |
CN103516946A (zh) * | 2012-06-19 | 2014-01-15 | 三星电子株式会社 | 基于事件的图像处理设备和方法 |
Cited By (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105719290B (zh) * | 2016-01-20 | 2019-02-05 | 天津师范大学 | 一种使用时域视觉传感器的双目立体深度匹配方法 |
CN107220942A (zh) * | 2016-03-22 | 2017-09-29 | 三星电子株式会社 | 用于动态视觉传感器的图像表示和处理的方法和装置 |
CN107220942B (zh) * | 2016-03-22 | 2022-03-29 | 三星电子株式会社 | 用于动态视觉传感器的图像表示和处理的方法和装置 |
CN105957060A (zh) * | 2016-04-22 | 2016-09-21 | 天津师范大学 | 一种基于光流分析的tvs事件分簇方法 |
CN106127800A (zh) * | 2016-06-14 | 2016-11-16 | 天津大学 | 基于aer图像传感器的实时多物体追踪方法和装置 |
US11202025B2 (en) | 2017-03-08 | 2021-12-14 | Samsung Electronics Co., Ltd. | Image processing device configured to regenerate timestamp and electronic device including the same |
CN108574793A (zh) * | 2017-03-08 | 2018-09-25 | 三星电子株式会社 | 被配置为重新生成时间戳的图像处理设备及包括其在内的电子设备 |
CN108574793B (zh) * | 2017-03-08 | 2022-05-10 | 三星电子株式会社 | 被配置为重新生成时间戳的图像处理设备及包括其在内的电子设备 |
US11575849B2 (en) | 2017-03-08 | 2023-02-07 | Samsung Electronics Co., Ltd. | Image processing device configured to regenerate timestamp and electronic device including the same |
CN110692083A (zh) * | 2017-05-29 | 2020-01-14 | 苏黎世大学 | 用于动态视觉传感器的块匹配光流和立体视觉 |
CN110692083B (zh) * | 2017-05-29 | 2024-01-05 | 苏黎世大学 | 用于动态视觉传感器的块匹配光流和立体视觉 |
CN107764271A (zh) * | 2017-11-15 | 2018-03-06 | 华南理工大学 | 一种基于光流的可见光视觉动态定位方法及*** |
CN107764271B (zh) * | 2017-11-15 | 2023-09-26 | 华南理工大学 | 一种基于光流的可见光视觉动态定位方法及*** |
CN108288289B (zh) * | 2018-03-07 | 2023-07-18 | 华南理工大学 | 一种用于可见光定位的led视觉检测方法及其*** |
CN108288289A (zh) * | 2018-03-07 | 2018-07-17 | 华南理工大学 | 一种用于可见光定位的led视觉检测方法及其*** |
CN108961318A (zh) * | 2018-05-04 | 2018-12-07 | 上海芯仑光电科技有限公司 | 一种数据处理方法及计算设备 |
CN109461173B (zh) * | 2018-10-25 | 2022-03-04 | 天津师范大学 | 一种用于时域视觉传感器信号处理的快速角点检测方法 |
CN109509213A (zh) * | 2018-10-25 | 2019-03-22 | 天津师范大学 | 一种应用于异步时域视觉传感器的Harris角点检测方法 |
CN109461173A (zh) * | 2018-10-25 | 2019-03-12 | 天津师范大学 | 一种用于时域视觉传感器信号处理的快速角点检测方法 |
CN109785365B (zh) * | 2019-01-17 | 2021-05-04 | 西安电子科技大学 | 地址事件驱动非结构化信号的实时目标跟踪方法 |
CN109785365A (zh) * | 2019-01-17 | 2019-05-21 | 西安电子科技大学 | 地址事件驱动非结构化信号的实时目标跟踪方法 |
CN112435279A (zh) * | 2019-08-26 | 2021-03-02 | 天津大学青岛海洋技术研究院 | 一种基于仿生脉冲式高速相机的光流转换方法 |
CN112435279B (zh) * | 2019-08-26 | 2022-10-11 | 天津大学青岛海洋技术研究院 | 一种基于仿生脉冲式高速相机的光流转换方法 |
CN111951558A (zh) * | 2020-08-21 | 2020-11-17 | 齐鲁工业大学 | 应用于交通预警机器人的机器视觉***及方法 |
WO2022257035A1 (en) * | 2021-06-09 | 2022-12-15 | Nvidia Corporation | Computing motion of pixels among images |
Also Published As
Publication number | Publication date |
---|---|
CN105160703B (zh) | 2018-10-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105160703A (zh) | 一种使用时域视觉传感器的光流计算方法 | |
CN107481270B (zh) | 乒乓球目标跟踪和轨迹预测方法、装置、存储介质和计算机设备 | |
US10260862B2 (en) | Pose estimation using sensors | |
CN106780620B (zh) | 一种乒乓球运动轨迹识别定位与跟踪***及方法 | |
CN103854283B (zh) | 一种基于在线学习的移动增强现实跟踪注册方法 | |
KR102595604B1 (ko) | 이벤트 기반 센서를 이용한 객체의 검출 방법 및 장치 | |
CN107357286A (zh) | 视觉定位导航装置及其方法 | |
CN113674416B (zh) | 三维地图的构建方法、装置、电子设备及存储介质 | |
CN104766342A (zh) | 基于时域视觉传感器的运动目标跟踪***及测速方法 | |
CN110139031B (zh) | 一种基于惯性感知的视频防抖***及其工作方法 | |
CN110390685B (zh) | 一种基于事件相机的特征点跟踪方法 | |
WO2023221524A1 (zh) | 一种人体运动智能测量与数字训练*** | |
CN112833892B (zh) | 一种基于轨迹对齐的语义建图方法 | |
Bashirov et al. | Real-time rgbd-based extended body pose estimation | |
CN105303518A (zh) | 一种基于区域特征的视频帧间拼接方法 | |
CN105957060B (zh) | 一种基于光流分析的tvs事件分簇方法 | |
Sokolova et al. | Human identification by gait from event-based camera | |
Liu et al. | Accurate real-time ball trajectory estimation with onboard stereo camera system for humanoid ping-pong robot | |
Zhou et al. | MH pose: 3D human pose estimation based on high-quality heatmap | |
CN109785365A (zh) | 地址事件驱动非结构化信号的实时目标跟踪方法 | |
CN105203045A (zh) | 一种基于异步时域视觉传感器的产品形状完整性检测***及检查方法 | |
CN114548224A (zh) | 一种用于强交互人体运动的2d人***姿生成方法及装置 | |
Wang et al. | Research and implementation of the sports analysis system based on 3D image technology | |
Nong et al. | ASL-SLAM: An asynchronous formulation of lines for SLAM with Event Sensors | |
Wu et al. | FlyTracker: Motion tracking and obstacle detection for drones using event cameras |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20181019 Termination date: 20190825 |