CN105160703A - 一种使用时域视觉传感器的光流计算方法 - Google Patents

Abstract

本发明公开了一种使用时域视觉传感器的光流计算方法，并给出具体实现步骤。与目前采用“帧序列图像（视频）”进行光流计算的方法不同，本发明的视觉信息采集器件—时域视觉传感器的输出来进行视场的光流计算。此外由于各像素自主地进行变化检测和异步输出，因此能够实时感知场景中目标的运动与变化，很好地满足微分光流计算方法中“亮度不变与局部速度不变”的连续性假设，在明显改善光流计算的精度同时，大大提高了光流计算的实时性，因此非常适合于高速运动目标的光流计算以及后续的进而进行跟踪与测速。

Description

一种使用时域视觉传感器的光流计算方法

技术领域

本发明涉及计算机视觉、图像处理以及图像传感器设计等多个技术领域，更具体的说是一种使用时域视觉传感器的光流计算的方法。

背景技术

光流

光流（Optic flow，亦称为图像流）是指当三维空间中的运动目标成像于二维图像平面时所产生的运动投影，这种二维投影以图像亮度“流动”的方式表现出来，称之为光流。研究光流场的目的是为了从序列图像中近似计算不能直接得到的三位空间运动场。

光流分析是视频分析的重要研究方向之一，借助光流分析能够有效进行运动目标检测与跟踪和分割。光流分析已经在在机器人、军事、航空航天、工业交通工业、医学与气象等多个领域具有广泛应用。机器视觉***通过对场景进行光流分析来进行基于视觉的各种操作，例如机器人自动导航和障碍物躲避；无人航天器自动着陆和路径设计，导弹精确制导和目标选择等。目前光流研究主要集中于在特有硬件平台上实现算法以及新算法的设计。

Gibson和Wallach等在上世纪50年代首次提出能够从二维平面的光流场可以恢复空间三维运动与结构参数的假设。1981年由Hom和schunck提出第一种实际有效的光流计算方法,成为光流算法发展的基石。此后关于光流的研究成为计算机视觉领域的热点，产生了大量研究成果。这些方法可分为微分法、匹配法、能量法、相位法以及神经动力学法几大类。其中微分法具有较好的综合性能，计算量相对较小且效果较好，因此在实际中得到广泛的使用。它利用时变图像（视频）灰度值的时域与空域微分（梯度函数）来计算像素的速度矢量。微分法主要包括：1、Horn-sehunek全局平滑法；2、Lucas-Kanade局部平滑法；3、Nagel有向平滑法等具体算法。

微分法光流基于亮度恒定假设。该假设认为物体在空间做相对连续运动，运动过程中投射到视网膜（或图像传感器）上的图像连续变化。具体表述为“对一组连续的二维图像序列中某个目标的运动而言，沿该运动轨迹曲线上的各帧像素点具有相同的灰度值。设t时刻图像中像素点(x ,y)的灰度值为I(x,y,t)，它是t时刻物体上点(X,Y,Z)在图像上的像。在t+∆t时刻时，该运动到(X+∆X,Y+∆Y,Z+∆Z)，其图像上的像变为(x+∆x,y+∆y)，t+∆t时图像点(x+∆x,y+∆y)处的灰度值为I(x+∆x, y+∆y,t+∆t)。当时间变化量很小时，根据亮度恒常假设，像素灰度值保持不变：

u, v即为t时刻图像点(x,y)在x及y方向上的速度分量，因此关于光流(u,v)的线性方程为：

上式即为光流约束方程，其中I_x、I_y为点(x,y)处亮度的空间梯度，I_t为该点的时间梯度，这三个值均可通过连续图像帧求得。上式中由于存在u、v两个未知数，因此是不适定的（不存在唯一解）。这是由于将空间的三维运动投影到平面的二维表示所造成的，因此为了求解每个像素点的u、v，还需要加上其他的约束条件，例如Horn-sehunek提出的全局平滑假定、Lucas-Kanade提出的局部平滑假定等。

根据Lucas-Kanade提出的局部平滑假定，以(x,y)为中心的小区域内的像素点具有相同的速度(u,v)，即：

上式中I₁，I₂，……，I_m是一个小区域（通常取）内的相邻像素。由于m>2,因此可以采用最小均方误差法求解光流（u,v）。

在基于帧图像的光流分析方法中，可以使用以下格式计算像素（i.j）处的I_x 、I_y、I_t：

式（6~8），各参数含义如下：

f(x,y,t)表示视频中t时刻的图像中(x,y)点处的亮度，像素的分布如图3所示。小区域Ω内的最小误差可以采用如下公式：

二维高斯函数图形分布见图4。

使用以上各公式，采用最小均方误差法计算使小区域Ω内光流误差最小的光流（u,v）。

虽然微分光流技术研究已经取得了大量成果并在实际工程中获得了大量使用，但仍然面临以下难题：

（1）亮度恒定假设对于大多数自然视频图像是不合适的，特别是当图像中存在遮挡或运动速度较高时；

（2）当图像存在遮挡时，速度场会发生突变，各种平滑约束会使得物体形状被扭曲；

（3）微分光流的前提是图像连续可微，如果图像空间梯度变化较大时，会对光流分析的精度产生严重影响。

由以上分析可见，图像拍摄帧频是影响光流分析准确性的重要因素。由于目前普通相机的拍摄速度为30～60帧/每秒，因此对高速运动目标的光流分析显然会产生与连续性假设不符合的矛盾。如果拍摄速度足够快（各帧图像间的时间间隔足够小），则上述问题会得到有效解决；但与此同时，高帧频会使得计算量激增，实时光流分析难以实现。

视觉传感器

依据成像使用的“光--电转换”原理，当前使用的图像传感器芯片（CCD及CMOS）都是基于“帧采样”方式模式的：

（1）所有像素同时复位后开始感光（收集光电荷），在达到设定曝光时间后停止感光；

（2）依次读出每个像素所收集的光电荷，并将其转换为电压；

（3）该电压经模数转换后变为数字量，输出后存储。该数字量即为该点的亮度值。所有像素亮度值组成的二维矩阵即为所拍摄图像。

在使用上述“帧采样”图像传感器相机的机器视觉***中，图像序列（视频）的拍摄速度通常为30-60帧/秒，继而又计算机执行图像处理算法提取目标并进行判别与分析。

上述“帧采样”成像方式存在的缺点：

（1）背景数据冗余。相邻两帧间存在大量的冗余背景信息，不变的背景区域被重复采样读出，对***的处理和存储能力带来巨大压力。拍摄速度越高，则传输、存储和处理压力越大；

（2）高响应延迟。场景中的变化不能立即被图像传感器感知并输出，而必须按照“帧”的节奏被感知和输出。这种高响应延迟对于高速运动目标的跟踪与识别非常不利，运动速度越快则检测结果的间断性和误差越明显；

近年来，研究者依据生物视觉“变化采样”的原理，采用超大规模集成电路（VLSI）技术设计出新型工作模式的“视觉传感器（Vision Sensor, VS）”。原理包括：

(1)、生物视觉***不以“帧”的方式进行成像，视觉感光细胞只对变化敏感，并将这种变化以神经脉冲的方式传递到大脑视皮层进行处理；

(2)、模仿生物视觉的成像机理，VS像素只对场景中的“变化事件（Activity Event， AE）”敏感并采样输出。按其性质，AE可分为空间变化（某像素与其周边像素的亮度关系发生变化）和时间变化（像素自身的亮度发生变化）两大类。时域变化敏感的视觉传感器称之为时域视觉传感器（Temporal Vision Sensor，TVS）；

(3)、TVS中的各像素自主地检测所感受的光强是否发生变化。具体方法是每个像素周期测量单位时间内的光生电流的变化量。当单位时间内光生电流的变化量超过设定的阈值时，表示该点的光强发生变化，因此每次AE即表明光强发生了固定的变化量。像素产生的AE通过串行总线异步输出，像素间互不关联；

(4)、通常采用称为“地址事件表示（Address-Event-Representation，AER）”的方法表示AE，即AE=（x,y,P）,其中（x,y）为像素在像素阵列中的行列地址，P表示变化的属性（例如光强增加为“1”，减小为“0”）；

(5)、TVS输出的每个AE被后端***赋予一个时间戳T，该时间戳指出AE的具体输出时间，即AE=（x,y,P,T）。

由以上介绍可见，TVS与传统“帧采样”图像传感器相比，其最突出的优点是：

(1)、输出数据量小，无冗余信息。输出数据只包括场景中的变化信息，数据量通常为“帧采样”方式的5~10%；

(2)、实时性高。像素能够立即感知亮度的变化并输出，“变化-输出”的延迟可以减小到微秒级，相当于几千~几万帧的拍摄速度。附图1给出了普通“帧采样”图像传感器与时域视觉传感器的拍摄效果比较。

发明内容

本发明提出一种使用时域视觉传感器（TVS）的微分光流计算方法。使用TVS作为视觉输入源，基于“亮度恒定”和“局部速度不变”的微分光流分析原理，使用“表示亮度变化的活跃事件（AE）”序列进行光照变化空间梯度以及时间梯度的计算，通过最小二乘法进行光流计算分析。为实现此目的，本发明公开了如下的技术内容：

一种使用时域视觉传感器的光流计算方法，其特征在于以Lucas-Kanade提出的局部平滑假定为基础，使用TVS输出的AE序列完成空间梯度与时间梯度的计算：包括

（ 1 ）计算空间梯度：

Ix、Iy为像素点(x,y)处亮度的空间梯度（变化），使用各像素点与其邻居像素在过去一段时间Δ t 内的累计 AE 数之差来计算空间梯度，综合考虑检测线宽、TVS噪声特性及实时计算的特点，空间梯度计算公式为：

上式中AE（x,y,t）表示t时刻像素（x,y）处产生的AE，Δt为算法设定的计算间隔，由目标的运动速度设定，建议值50~200us，帧采样情况下时间分辨率相当于20000~5000帧/每秒；

（ 2 ）时间梯度：

时间梯度表示像素感受光强的变化速度，其计算公式：

上式通过计算Δt时间间隔内像素点（x,y）产生的AE总数与Δt的比值来获得（x,y）点处的空间梯度。

（ 3 ）基于 TVS 的光流算法

使用TVS输出的AE序列表示的微分光流约束方程为：

算法连续读入TVS产生的AE，每当读入一个AE，根据其地址，按照式（1~3）计算该点及其周围小区域内各点的空间梯度和时间梯度，按照局部平滑假定使用最小均方误差法求解其光流；

算法流程：

1）算法初始化，建立按时间排序的每个像素的AE队列及其光流队列；定义小区域大小为（n*n）和计算时间间隔Δt；当前时刻T=0；

2）读入AE(x,y,t)，更新当前时间T=t，按地址更新AE列表；

3）如果T<Δt，返回（2），否则转（4）；

4）按照式（1~3）计算以（x,y）为中心的小区域Ω内各点的空间梯度与时间梯度；

5）使用下式

采用最小均方误差法计算当前时间（x,y）点处的光流（u,v），更新（x,y）点的光流队列；

6）返回（2），循环执行上述过程；

7）拍摄场景中各点不同时刻的光流记录在每点的光流队列中。

本发明公开的使用视觉传感器的光流计算方法与目前采用“帧序列图像（视频）”进行光流计算的方法不同，本发明采用一种新型视觉信息采集器件—时域视觉传感器（Temporal Vision Sensor, TVS）的输出来进行视场的光流计算。由于这种图像采集设备只对拍摄场景中的光强变化敏感和采样，因此输出中不包含静止的背景，极大减少了冗余信息和输出数据量，进而显著降低后端处理算法的运算时间和资源需求。此外由于各像素自主地进行变化检测和异步输出，因此能够实时感知场景中目标的运动与变化，很好地满足微分光流计算方法中“亮度不变与局部速度不变”的连续性假设，在明显改善光流计算的精度同时，大大提高了光流计算的实时性，因此非常适合于高速运动目标的光流计算以及后续的进而进行跟踪与测速。

本发明提出的光流计算方法基于“亮度恒定”和“局部速度不变”原理，使用TVS作为视觉输入源，使用“表示亮度变化的活跃事件（AE）”序列进行光照变化空间梯度以及时间梯度的计算，通过最小二乘法和基于二维高斯函数的误差函数来完成计算光流。

本发明公开的使用时域视觉传感器的光流计算方法与现有技术相比所具有的积极效果在于：

发明以TDS为输入源，利用其产生的AE序列，采用微分光流分析方法进行光流计算。TVS采用变化采样、异步输出、地址事件表示的成像原理，因此具有极低数据冗余、高实时性与时间分辨率的特殊优势，非常适合应用于描述运动目标的光流分析：

（1）同时由于采用“变化采样+像素异步输出”的采样原理，因此场景中的变化能够以微秒级、毫秒级被感知和输出，相当于帧采样下的几千~几万帧/每秒。如此高的时间分辨率将使得微分光流分析的“亮度恒定”和“光流局部平滑”假设得到很好的满足，因此具有更高的计算精度；

（2）TVS的数据输出量通常只有“帧采样”图像传感器的5-10%，因此计算量大为降低，可以实现低成本的实时光流分析。

附图说明

图1为普通“帧采样”图像传感器与时域视觉传感器（TVS）面对同样场景的拍摄效果比较。帧图像对场景中的每一点进行光强记录与输出，而TVS只对场景中的变化进行采样输出，因此记录了场景中运动的目标（人体）运行情况（位置VS时间），而场景中保持不变的背景信息则被忽视；

图2给出三维空间运动投影到二维成像平面的示意图。空间某点在t时刻的世界坐标系（三维）位置为（X1,Y1,Z1），在二维成像坐标系中的对应位置为（x1,y1）；经过Δt时间，该点运动到（X1+ΔX,Y1+ΔY,Z1+ΔZ）,对应的二维成像位置为（x1+Δx,y1+Δy）。则该点的光流为（u, v）=(Δx/Δt, Δy/Δt)；

图3给出用于空间梯度计算的二维坐标。左上角像素坐标为（1,1）。当计算像素点（i,j）的水平方向梯度时，使用与其同列的上下相邻像素；当计算其垂直梯度时，使用与其同行的左右相邻像素；

图4为计算均方误差中使用二维高斯函数空间分布图，距离中心像素（i,j）越远的像素在总误差中所占比例越小；

图5为本发明提出的光流计算流程图，详见算法说明。

具体实施方式

为了简单和清楚的目的，下文恰当的省略了公知技术的描述，以免那些不必要的细节影响对本技术方案的描述。以下结合较佳实施例，对本发明做进一步的描述。

实施例1

本发明使用TVS的微分光流计算方法：以Lucas-Kanade提出的局部平滑假定为基础，使用TVS输出的AE序列完成空间梯度与时间梯度的计算。

空间梯度

Ix、Iy为像素点(x,y)处亮度的空间梯度（变化）。在基于帧图像的方法中使用像素点(x,y)与其周边邻居像素的亮度差异来表示光强的变化。本发明使用各像素点与其邻居像素在过去一段时间Δ t 内的累计 AE 数之差来计算空间梯度。综合考虑检测线宽、TVS噪声特性及实时计算的特点，空间梯度计算公式为：

上式中AE（x,y,t）表示t时刻像素（x,y）处产生的AE，Δt为算法设定的计算间隔，由目标的运动速度设定，建议值50~200us（帧采样情况下时间分辨率相当于20000~5000帧/每秒）。上述公式的原理是：

（1）TVS像素在确定时间内检测到超过预设定阈值的光电流变化时会发出一个AE，因此每个AE代表了相同的变化幅值；

（2）物体运动会导致各个像素点的光强发生变化，基于亮度恒定前提，光强大的点从一个像素移动到另一个像素时会产生更多的AE，因此两点间绝对亮度差可以用他们产生的单向（增加或减小）AE事件数之差来代表；

（3）由于TVS像素相继产生AE的时间间隔通常几十ns，因此Δt可以小于几百us，因此由于运动导致的变化采样连续性很高。与采样间隔通常为几十ms的帧采样方式相比，更加符合微分光流分析的理论前提。

时间梯度

时间梯度表示像素感受光强的变化速度。本发明使用单位时间像素产生AE的速率衡量时间梯度，效果与使用前后帧亮度差的原理相同，但是由于AE采样的间隔非常短，因此时间梯度的计算精度和连续性大大提高。计算公式：

上式通过计算Δt时间间隔内像素点（x,y）产生的AE总数与Δt的比值来获得（x,y）点处的空间梯度。

基于 TVS 的光流算法

使用TVS输出的AE序列表示的微分光流约束方程为：

算法连续读入TVS产生的AE。每当读入一个AE，根据其地址，按照式（1~3）计算该点及其周围小区域内各点的空间梯度和时间梯度，按照局部平滑假定使用最小均方误差法求解其光流。

算法流程：

（1）算法初始化，建立按时间排序的每个像素的AE队列及其光流队列；定义小区域大小为（n*n）和计算时间间隔Δt；当前时刻T=0；

（2）读入AE(x,y,t)，更新当前时间T=t，按地址更新AE列表；

（3）如果T<Δt，返回（2），否则转（4）；

（4）按照式（1~3）计算以（x,y）为中心的小区域Ω内各点的空间梯度与时间梯度；

（5）使用下式

采用最小均方误差法计算当前时间（x,y）点处的光流（u,v），更新（x,y）点的光流队列；

（6）返回（2），循环执行上述过程；

（7）拍摄场景中各点不同时刻的光流记录在每点的光流队列中，算法流程图见图5。

Claims (1)

1.一种使用时域视觉传感器的光流计算方法，其特征在于以Lucas-Kanade提出的局部平滑假定为基础，使用TVS输出的AE序列完成空间梯度与时间梯度的计算：包括

（ 1 ）计算空间梯度：

Ix、Iy为像素点(x,y)处亮度的空间梯度变化，使用各像素点与其邻居像素在过去一段时间Δ t 内的累计 AE 数之差来计算空间梯度，综合考虑检测线宽、TVS噪声特性及实时计算的特点，空间梯度计算公式为：

（式1）

（式2）

上式中AE（x,y,t）表示t时刻像素（x,y）处产生的AE，Δt为算法设定的计算间隔，由目标的运动速度设定，建议值50~200us，帧采样情况下时间分辨率相当于20000~5000帧/每秒；

（ 2 ）时间梯度：

时间梯度表示像素感受光强的变化速度，其计算公式：

（式3）

上式通过计算Δt时间间隔内像素点（x,y）产生的AE总数与Δt的比值来获得（x,y）点处的空间梯度；

（ 3 ）基于 TVS 的光流算法

使用TVS输出的AE序列表示的微分光流约束方程为：

（式4）

算法连续读入TVS产生的AE，每当读入一个AE，根据其地址，按照式（1~3）计算该点及其周围小区域内各点的空间梯度和时间梯度，按照局部平滑假定使用最小均方误差法求解其光流；

算法流程：

1）算法初始化，建立按时间排序的每个像素的AE队列及其光流队列；定义小区域大小为和计算时间间隔Δt；当前时刻T=0；

2）读入AE(x,y,t)，更新当前时间T=t，按地址更新AE列表；

3）如果T<Δt，返回（2），否则转（4）；

4）按照式（1~3）计算以（x,y）为中心的小区域Ω内各点的空间梯度与时间梯度；

5）使用下式

（式5）

以及式（6~7）定义的误差计算函数：

（式6）

（式7）

采用最小均方误差法计算当前时间（x,y）点处的光流（u,v），更新（x,y）点的光流队列；

6）返回（2），循环执行上述过程；

7）拍摄场景中各点不同时刻的光流记录在每点的光流队列中。