CN107194359A - 一种视频图像序列的尺度空间构造方法及装置 - Google Patents
一种视频图像序列的尺度空间构造方法及装置 Download PDFInfo
- Publication number
- CN107194359A CN107194359A CN201710381909.XA CN201710381909A CN107194359A CN 107194359 A CN107194359 A CN 107194359A CN 201710381909 A CN201710381909 A CN 201710381909A CN 107194359 A CN107194359 A CN 107194359A
- Authority
- CN
- China
- Prior art keywords
- video
- mrow
- pixel
- gmcm
- msub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种视频图像序列的尺度空间构造方法及装置，方法包括：基于视频包含的视频图像序列的视频图像空域信息和时域信息，得到该视频的三维几何代数空间，遍历该三维几何代数空间中的所有像素点，利用预置的灰度‑运动矢量算法计算遍历到的像素点的灰度‑运动矢量，且利用所有像素点的灰度‑运动矢量，构造该视频的GMCM，并根据该视频的GMCM与预先设置的高斯函数，构造该视频的尺度空间。本发明构造了几何代数框架下的包含灰度信息和运动变化信息的GMCM，并通过该GMCM及预先设置的变尺度的高斯函数构造得到尺度空间，使得构造与运动变化信息的尺度空间成为可能，以便进一步的实现与运动变化信息有关的STIP检测。
Description
技术领域
本发明涉及视频图像领域，尤其涉及一种视频图像序列的尺度空间构造方 法及装置。
背景技术
视频中的行为识别是当下热门的研究课题，虽然基于深度学习的行为识别 方法在视频大数据集上的行为识别上取得突破性进展，但是它难以应用在小样 本数据集上。如交通事故的视频数据，由于交通事故数据难以采集和模拟，数 据量非常有限，深度学习的方法就难以应用到视频中交通事故的识别中。而传 统的基于视频时空兴趣点(Spatio-Temporal Interest Point,STIP for short)和支持 向量机(Support Vector Machine，SVM)的行为识别算法可以很好的应用于小 样本数据集，因此，这类方法仍具有重要的研究意义。
时空兴趣点是一种视频图像上的局部不变特征(Local Invariant Feature)， 是视频的一种重要的特征。自2003年提出后就受到了研究者的关注，目前已被 应用于人体行为识别、视频检索、交通异常检测、视频监控等智能视频处理与 分析领域中。
其中，现有的STIP检测算法均是由二维图像的局部不变特征检测算法扩展 而来，没有充分利用视频时域上的运动变化信息，从而降低了视频中的STIP 的可重复性、鲁棒性等性能。
然而，若需要利用视频图像时域上的运动信息，需要先构造一种与运动变 化信息有关的尺度空间的构造方法，因此，如何实现与运动变化信息有关的尺 度空间的构造是目前亟待解决的问题。
发明内容
本发明的主要目的在于提供一种视频图像序列的尺度空间构造方法及装 置，旨在解决现有技术中无法构造与运动信息有关的尺度空间的技术问题。
为实现上述目的，本发明第一方面提供一种视频图像序列的尺度空间构造 方法，该方法包括：
基于视频包含的视频图像序列的视频图像空域信息和时域信息，得到所述 视频的三维几何代数空间；
遍历所述视频的三维几何代数空间的所有像素点，利用预置的灰度-运动矢 量算法计算遍历到的像素点的灰度-运动矢量；
利用所述视频的三维几何代数空间的所有像素点的灰度-运动矢量，构造所 述视频的灰度与运动变化矩阵GMCM；
根据所述视频的GMCM与预先设置的变尺度的高斯函数，构造所述视频 的尺度空间。
为实现上述目的，本发明第二方面提供一种视频图像序列的尺度空间构造 装置，该装置包括：
几何构造模块，用于基于视频包含的视频图像序列的视频图像空域信息和 时域信息，得到所述视频的三维几何代数空间；
遍历计算模块，用于遍历所述视频的三维几何代数空间的所有像素点，利 用预置的灰度-运动矢量算法计算遍历到的像素点的灰度-运动矢量；
GMCM构造模块，用于利用所述视频的三维几何代数空间的所有像素点的 灰度-运动矢量，构造所述视频的灰度与运动变化矩阵GMCM；
尺度空间构造模块，用于根据所述视频的GMCM与预先设置的变尺度的 高斯函数，构造所述视频的尺度空间。
本发明提供一种视频图像序列的尺度空间构造方法，该方法包括：基于视 频包含的视频图像序列的视频图像空域信息和时域信息，得到该视频的三维几 何代数空间，遍历该视频的三维几何代数空间中的所有像素点，利用预置的灰 度-运动矢量算法计算遍历到的像素点的灰度-运动矢量，且利用视频的三维几 何代数空间的所有像素点的灰度-运动矢量，构造该视频的灰度与运动变化矩阵 (Gray and Motion Change InformationMatrix，GMCM)，并根据该视频的 GMCM与预先设置的变尺度的高斯函数，构造该视频的尺度空间。相对于现有 技术，本发明构造了几何代数框架下的包含灰度信息和运动变化信息的GMCM，并通过该GMCM及预先设置的变尺度的高斯函数构造得到尺度空间， 由于GMCM不仅包含视频的三维几何代数空间中的像素点的灰度信息，还包 含了运动变化信息，使得构造与运动变化信息的尺度空间成为可能，以便进一 步的实现与运动变化信息有关的STIP检测。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施 例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述 中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创 造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明第一实施例中视频图像序列的尺度空间构造方法的流程示意 图；
图2为本发明第二实施例中视频图像序列的尺度空间构造装置的功能模块 的示意图。
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结 合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描 述，显然，所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基 于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的 所有其他实施例，都属于本发明保护的范围。
由于现有技术中存在无法构造与运动信息有关的尺度空间的技术问题。
为了解决上述技术问题，本发明提出一种视频图像序列的尺度空间构造方 法及装置，本发明构造了几何代数框架下的包含灰度信息和运动变化信息的 GMCM，并通过该GMCM及预先设置的变尺度的高斯函数构造得到尺度空间， 且该尺度空间是与运动变化信息有关的，因此，使得构造与运动变化信息的尺 度空间成为可能，以便进一步的实现与运动变化信息有关的STIP检测。
请参阅图1，为本发明第一实施例中视频图像序列的尺度空间构造方法的 流程示意图，该视频图像序列的尺度空间构造方法包括：
步骤101、基于视频包含的视频图像序列的视频图像空域信息和时域信息， 得到所述视频的三维几何代数空间；
在本发明实施例中，尺度空间的构造是在一个视频中进行，该视频中包含 的视频图像(视频帧)序列可以表示为一个视频立方体，包含空域信息(x，y) 和时域信息t，即对于一个空域尺度为M*N，视频帧数为n的视频图像序列F， 它可以表示为：
F＝f(x，y，t) (公式一)
在公式一中，f(x,y,t)表示视频图像的函数，(x,y,t)表示视频图像的三维坐 标，x,y表示空域坐标，t表示时域坐标，其中，0＜x＜M，0＜y＜N，0＜t＜n。
需要说明的是，采用几何代数作为视频表示和分析的数学框架，几何代数 可称为Clifford Algebra，是由Clifford代数和Grassmann代数发展而来，它将 几何问题转化为代数的方式进行解决，为几何分析提供了一个功能强大的代数 框架，作为几何分析的有效工具。本发明即是基于几何代数框架表示视频的视 频图像序列的，下面将阐述几何代数框架下的视频图像序列的表示模型。
设R3是视频包含的视频图像序列的空域信息和时域信息组成的三维欧式空 间，它的规范正交基为{e1,e2,e3}，那么这些规范正交基通过几何张成上R3的几 何代数空间为该即为上述视频的三维几何代数空间，在本发明实 施例中，后续将该简记为它的一组规范基为：
E3:＝{Ei|i＝0,1,2,…,23-1}＝{1,e1,e2,e3,e1∧e2,e2∧e3,e1∧e3,e1∧e2∧e3}(公式二)
其中，“∧”表示几何代数外积计算的符号，e1∧e2，e2∧e3及e1∧e3是由三 个正交基e1、e2及e3得到的三个独立的二重外积，这三个二重外积几何意义上分 别表示了空间两个矢量表示的平面，e1∧e2∧e3是三重外积： e1∧e2∧e3＝(e1∧e2)e3，其几何解释是：二重外积e1∧e2沿着矢量e3移动所获得的有 向几何体。{e1，e2，e3}可以看作的3维向量子空间的基向量{x，y，t}。
将e1e2e3记为I，由于ei 2＝1，则e1e2＝Ie3，e2e3＝Ie1以及e3e1＝Ie2。并满足
(e1e2)2＝(e2e3)2＝(e3e1)2＝-1 (公式三)
设且p＝xe1+ye2+te3，则视频视可以表示为：
F＝f(p) (公式四)
f(p)则表示视频F在像素点p处的像元灰度值。
设且p1＝x1e1+y1e2+t1e3，p2＝x2e1+y2e2+t2e3，则它们的几何积可以 表示为：
p1p2＝p1·p2+p1∧p2 (公式五)
它表示两个矢量的几何积是由内积(p1·p2)和外积(p1∧p2)之和组成。
在中，p1和p2的距离可以用Δp表示，即：
Δp＝p1-p2＝(x1-x2)e1+(y1-y2)e2+(t1-t2)e3 (公式六)
它表示一个从p2指向p1的矢量，它不仅是两个像素点距离的度量，而且也 可以反映像素点在视频序列中的运动情况。
以上即为本发明实施例中视频的三维几何代数空间的介绍。
步骤102、遍历所述视频的三维几何代数空间的所有像素点，利用预置的 灰度-运动矢量算法计算遍历到的像素点的灰度-运动矢量；
在本发明实施例中，在得到视频的三维几何代数空间之后，将遍历该视频 的三维几何代数空间的所有像素点，利用预置的灰度-运动矢量算法计算遍历到 的像素点的灰度-运动矢量。
其中，上述的灰度-运动矢量算法为：
其中，p0表示遍历到的视频的三维几何代数空间中的像素点，f′(p0)表示像 素点p0的灰度-运动矢量，f(p0)为像素点p0的灰度值，表示像素点p0的运动 变化矢量。
为了更加地理解本发明实施例中的技术方案，下面将详细介绍上述灰度- 运动矢量算法的推导过程，如下：
1、对于运动信息的定义
设且p0＝xie1+yje2+tke3，p1＝xie1+yje2+(tk+1)e3，即p0和p1为相邻平 面上的像素点，S为在t＝tk+1平面上以像素点p1为中心的l×l的邻域的像素点的 集合，则上的像素点p0的运动信息定义为：
其中
其中，反映像素点p0的运动信息，包括运动方向、运动速度等等。
其中，平面可以理解为视频帧或视频图像，视频的每一个帧都可以理解成 一个二维的平面。
2、对运动变化矢量的定义
设且p0＝xie1+yje2+tke3，p1＝xie1+yje2+(tk+1)e3， p2＝xie1+yje2+(tk-1)e3，则上的像素点p0的运动变化矢量定义为：
其中和分别是像素点p1和像素点p2的运动信息。反映了像素点p0的运动变化情况，包括运动方向变化、运动速度变化等，可以用它的模值来反 映变化幅度。一般情况，像素点p0的运动方向变化越大，的模值越大；速 度变化越大，的模值越大，反之亦然。
3、灰度-运动矢量的定义
在本发明实施例中，在对运动矢量进行定义之后，为了反映像素点p0的所 具有的灰度信息和运动信息，按照如下的方式定义像素点p0的灰度-运动矢量：
设f(p0)为p0处的灰度值，为运动变化矢量，则灰度-运动矢量 f′(p0)定义如下：
f′(p0)是一个既含有标量信息又含有矢量信息的矢量，不仅反映了灰度信息， 而且还反映了运动方向和速度变化情况。
步骤103、利用所述视频的三维几何代数空间的所有像素点的灰度-运动矢 量，构造所述视频的GMCM；
在本发明实施例中，在得到视频的三维几何代数空间的所有像素点的灰度- 运动矢量之后，将利用该所有像素点的灰度-运动矢量构造该视频的GMCM。
步骤104、根据所述视频的GMCM与预先设置的变尺度的高斯函数，构造 所述视频的尺度空间。
在本发明实施例中，在得到视频的GMCM之后，将进一步根据该视频的 GMCM与预先设置的变尺度的高斯函数，构造该视频的尺度空间。具体可以为： 将所述视频图像的GMCM与所述预先设置的变尺度的高斯函数进行卷积运算， 构造所述视频图像的GMCM的尺度空间。
其中，利用视频的GMCM与预先设置的变尺度的高斯函数，构造该视频 的尺度空间的计算公式如下：
其中，表示卷积运算，p表示像素点，f′(p)表示像素点p的灰度-运动矢 量，f(p)为像素点p的灰度值，dvp表示像素点p的运动变化矢量，G(p,σ)表示 预先设置的变尺度的的高斯函数，σ表示所述视频的三维几何代数空间中所述 高斯函数的尺度因子，L(p,σ)表示视频图像的GMCM的尺度空间。
在本发明实施例中，上述预先设置的变尺度的高斯函数如下：
其中，G(p,σ)表示所述变尺度的高斯函数，σ表示所述视频的三维几何代 数空间中所述高斯函数的尺度因子，p表示像素点，“∧”表示外积计算符号， “·”表示内积计算符号，且所述高斯函数的窗口大小为l×l×l，且l＝6σ+1。
需要说明的是，由于灰度图像的尺度空间是由图像和不同尺度的高斯函数 卷积产生的，借鉴该种思路，本发明实施例中提供了如公式十所示的在视频的 三维几何代数空间中用于生成尺度空间的高斯函数。
为了更好的理解本发明实施例中的技术方案，下面将证明上述的高斯函数 G(p,σ)是视频的三维几何代数空间中有效的高斯函数。
证明：|p·σ|2可以进一步展开如下：
σ∧σ∧σ可以进一步展开如下：
利用|p·σ|2和σ∧σ∧σ展开后的公式带入公式十，可以得到：
基于上述证明，可见，将G(p,σ)转为中的形式与普通三维高斯函数是一 致的，因此，本发明实施例中提供的高斯函数G(p,σ)是有效的高斯函数。
在本发明实施例中，基于视频包含的视频图像序列的视频图像空域信息和 时域信息，得到该视频的三维几何代数空间，遍历该视频的三维几何代数空间 中的所有像素点，利用预置的灰度-运动矢量算法计算遍历到的像素点的灰度- 运动矢量，且利用视频的三维几何代数空间的所有像素点的灰度-运动矢量，构 造该视频的灰度与运动变化矩阵(Gray and Motion Change Information Matrix， GMCM)，并根据该视频的GMCM与预先设置的变尺度的高斯函数，构造该 视频的尺度空间。相对于现有技术，本发明构造了几何代数框架下的包含灰度 信息和运动变化信息的GMCM，并通过该GMCM及预先设置的变尺度的高斯 函数构造得到尺度空间，由于GMCM不仅包含视频的三维几何代数空间中的 像素点的灰度信息，还包含了运动变化信息，使得构造与运动变化信息的尺度 空间成为可能，以便进一步的实现与运动变化信息有关的STIP检测。
请参阅图2，为本发明第二实施例中视频图像序列的尺度空间构造装置的 功能模块的示意图，该视频图像序列的尺度空间构造装置包括：
几何构造模块201，用于基于视频包含的视频图像序列的视频图像空域信 息和时域信息，得到所述视频的三维几何代数空间；
遍历计算模块202，用于遍历所述视频的三维几何代数空间的所有像素点， 利用预置的灰度-运动矢量算法计算遍历到的像素点的灰度-运动矢量；
GMCM构造模块203，用于利用所述视频的三维几何代数空间的所有像素 点的灰度-运动矢量，构造所述视频的灰度与运动变化矩阵GMCM；
尺度空间构造模块204，用于根据所述视频的GMCM与预先设置的变尺度 的高斯函数，构造所述视频的尺度空间。
在本发明实施例中，尺度空间的构造是在一个视频中进行，该视频中包含 的视频图像(视频帧)序列可以表示为一个视频立方体，包含空域信息(x，y) 和时域信息t，即对于一个空域尺度为M*N，视频帧数为n的视频图像序列F， 它可以表示为：
F＝f(x,y,t) (如第一实施例中的公式一)
在公式一中，f(x,y,t)表示视频图像的函数，(x,y,t)表示视频图像的三维坐 标，x,y表示空域坐标，t表示时域坐标，其中，0＜x＜M，0＜y＜N，0＜t＜n。
需要说明的是，采用几何代数作为视频表示和分析的数学框架，几何代数 可称为Clifford Algebra，是由Clifford代数和Grassmann代数发展而来，它将 几何问题转化为代数的方式进行解决，为几何分析提供了一个功能强大的代数 框架，作为几何分析的有效工具。本发明即是基于几何代数框架表示视频的视 频图像序列的，下面将阐述几何代数框架下的视频图像序列的表示模型。
设R3是视频包含的视频图像序列的空域信息和时域信息组成的三维欧式空 间，它的规范正交基为{e1,e2,e3}，那么这些规范正交基通过几何张成上R3的几 何代数空间为该即为上述视频的三维几何代数空间，在本发明实 施例中，后续将该简记为它的一组规范基为：
E3:＝{Ei|i＝0,1,2,…,23-1}＝{1,e1,e2,e3,e1∧e2,e2∧e3,e1∧e3,e1∧e2∧e3}(如第一实 施例中的公式二)
其中，“∧”表示几何代数外积计算的符号，e1∧e2，e2∧e3及e1∧e3是由三 个正交基e1、e2及e3得到的三个独立的二重外积，这三个二重外积几何意义上分 别表示了空间两个矢量表示的平面，e1∧e2∧e3是三重外积： e1∧e2∧e3＝(e1∧e2)e3，其几何解释是：二重外积e1∧e2沿着矢量e3移动所获得的有 向几何体。{e1，e2，e3}可以看作的3维向量子空间的基向量{x，y，t}。
将e1e2e3记为I，由于ei 2＝1，则e1e2＝Ie3，e2e3＝Ie1以及e3e1＝Ie2。并满足
(e1e2)2＝(e2e3)2＝(e3e1)2＝-1 (如第一实施例中的公式三)
设且p＝xe1+ye2+te3，则视频视可以表示为：
F＝f(p) (如第一实施例中的公式四)
f(p)则表示视频F在像素点p处的像元灰度值。
设且p1＝x1e1+y1e2+t1e3，p2＝x2e1+y2e2+t2e3，则它们的几何积可以 表示为：
p1p2＝p1·p2+p1∧p2 (如第一实施例中的公式五)
它表示两个矢量的几何积是由内积(p1·p2)和外积(p1∧p2)之和组成。
在中，p1和p2的距离可以用Δp表示，即：
Δp＝p1-p2＝(x1-x2)e1+(y1-y2)e2+(t1-t2)e3 (如第一实施例中的公式六)
它表示一个从p2指向p1的矢量，它不仅是两个像素点距离的度量，而且也 可以反映像素点在视频序列中的运动情况。
以上即为本发明实施例中视频的三维几何代数空间的介绍。本发明实施例 中，几何构造模块201基于视频包含的视频图像序列的视频图像空域信息和时 域信息，得到该视频的三维几何代数空间。在得到视频的三维几何代数空间之 后，遍历计算模块202将遍历该视频的三维几何代数空间的所有像素点，利用 预置的灰度-运动矢量算法计算遍历到的像素点的灰度-运动矢量。
其中，上述的灰度-运动矢量算法为：
(如第一实施例中的公式七)
其中，p0表示遍历到的视频的三维几何代数空间中的像素点，f′(p0)表示像 素点p0的灰度-运动矢量，f(p0)为像素点p0的灰度值，表示像素点p0的运动 变化矢量。
为了便于理解本发明实施例中的技术方案，下面将详细介绍上述灰度-运动 矢量算法的推导过程，如下：
1、对于运动信息的定义
设且p0＝xie1+yje2+tke3，p1＝xie1+yje2+(tk+1)e3，即p0和p1为相邻平 面上的像素点，S为在t＝tk+1平面上以像素点p1为中心的l×l的邻域的像素点的 集合，则上的像素点p0的运动信息定义为：
(如第一实施例中的公式八)
其中
其中，反映像素点p0的运动信息，包括运动方向、运动速度等等。
其中，平面可以理解为视频帧或视频图像，视频的每一个帧都可以理解成 一个二维的平面。
2、对运动变化矢量的定义
设且p0＝xie1+yje2+tke3，p1＝xie1+yje2+(tk+1)e3， p2＝xie1+yje2+(tk-1)e3，则上的像素点p0的运动变化矢量定义为：
其中和分别是像素点p1和像素点p2的运动信息。反映了像素点p0的运动变化情况，包括运动方向变化、运动速度变化等，可以用它的模值来反 映变化幅度。一般情况，像素点p0的运动方向变化越大，的模值越大；速 度变化越大，的模值越大，反之亦然。
3、灰度-运动矢量的定义
在本发明实施例中，在对运动矢量进行定义之后，为了反映像素点p0的所 具有的灰度信息和运动信息，按照如下的方式定义像素点p0的灰度-运动矢量：
设f(p0)为p0处的灰度值，为运动变化矢量，则灰度-运动矢量 f′(p0)定义如下：
(如第一实施例中的公式七)
f′(p0)是一个既含有标量信息又含有矢量信息的矢量，不仅反映了灰度信息， 而且还反映了运动方向和速度变化情况。
在本发明实施例中，在得到视频的三维几何代数空间的所有像素点的灰度- 运动矢量之后，GMCM构造模块203将利用该所有像素点的灰度-运动矢量构 造该视频的GMCM。
在本发明实施例中，在得到视频的GMCM之后，尺度空间构造模块204 将进一步根据该视频的GMCM与预先设置的变尺度的高斯函数，构造该视频 的尺度空间。具体可以为：尺度空间构造模块204将所述视频图像的GMCM 与所述预先设置的变尺度的高斯函数进行卷积运算，构造所述视频图像的 GMCM的尺度空间。
其中，利用视频的GMCM与预先设置的变尺度的高斯函数，构造该视频 的尺度空间的计算公式如下：
(如第一实施例中的公式九)
其中，表示卷积运算，p表示像素点，f′(p)表示像素点p的灰度-运动矢 量，f(p)为像素点p的灰度值，dvp表示像素点p的运动变化矢量，G(p,σ)表示 预先设置的变尺度的的高斯函数，σ表示所述视频的三维几何代数空间中所述 高斯函数的尺度因子，L(p,σ)表示视频图像的GMCM的尺度空间。
在本发明实施例中，上述预先设置的变尺度的高斯函数如下：
(如第一实施例中的公式十)
其中，G(p,σ)表示所述变尺度的高斯函数，σ表示所述视频的三维几何代 数空间中所述高斯函数的尺度因子，p表示像素点，“∧”表示外积计算符号， “·”表示内积计算符号，且所述高斯函数的窗口大小为l×l×l，且l＝6σ+1。
需要说明的是，由于灰度图像的尺度空间是由图像和不同尺度的高斯函数 卷积产生的，借鉴该种思路，本发明实施例中提供了如公式十所示的在视频的 三维几何代数空间中用于生成尺度空间的高斯函数。
为了更好的理解本发明实施例中的技术方案，下面将证明上述的高斯函数 G(p,σ)是视频的三维几何代数空间中有效的高斯函数。
证明：|p·σ|2可以进一步展开如下：
σ∧σ∧σ可以进一步展开如下：
利用|p·σ|2和σ∧σ∧σ展开后的公式带入公式十，可以得到：
基于上述证明，可见，将G(p,σ)转为中的形式与普通三维高斯函数是一 致的，因此，本发明实施例中提供的高斯函数G(p,σ)是有效的高斯函数。
在本发明实施例中，基于视频包含的视频图像序列的视频图像空域信息和 时域信息，得到该视频的三维几何代数空间，遍历该视频的三维几何代数空间 中的所有像素点，利用预置的灰度-运动矢量算法计算遍历到的像素点的灰度 -运动矢量，且利用视频的三维几何代数空间的所有像素点的灰度-运动矢量， 构造该视频的灰度与运动变化矩阵(Gray and Motion Change Information Matrix，GMCM)，并根据该视频的GMCM与预先设置的变尺度的高斯函数， 构造该视频的尺度空间。相对于现有技术，本发明构造了几何代数框架下的包 含灰度信息和运动变化信息的GMCM，并通过该GMCM及预先设置的变尺度 的高斯函数构造得到尺度空间，由于GMCM不仅包含视频的三维几何代数空 间中的像素点的灰度信息，还包含了运动变化信息，使得构造与运动变化信息 的尺度空间成为可能，以便进一步的实现与运动变化信息有关的STIP检测。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可 以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例 如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划 分方式，例如多个模块或组件可以结合或者可以集成到另一个***，或一些特 征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合 或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是 电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为 模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者 也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部 模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中， 也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块 中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的 形式实现。
所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或 使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明 的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或 部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质 中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或 者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的 存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、 随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以 存储程序代码的介质。
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述 为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的 动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。 其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施 例，所涉及的动作和模块并不一定都是本发明所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详 述的部分，可以参见其它实施例的相关描述。
以上为对本发明所提供的一种视频图像序列的尺度空间构造方法及装置的 描述，对于本领域的技术人员，依据本发明实施例的思想，在具体实施方式及 应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种视频图像序列的尺度空间构造方法，其特征在于，所述方法包括：
基于视频包含的视频图像序列的视频图像空域信息和时域信息，得到所述视频的三维几何代数空间；
遍历所述视频的三维几何代数空间的所有像素点，利用预置的灰度-运动矢量算法计算遍历到的像素点的灰度-运动矢量；
利用所述视频的三维几何代数空间的所有像素点的灰度-运动矢量，构造所述视频的灰度与运动变化矩阵GMCM；
根据所述视频的GMCM与预先设置的变尺度的高斯函数，构造所述视频的尺度空间。
2.根据权利要求1所述的方法，其特征在于，所述灰度-运动矢量算法为：
<mrow>
<msup>
<mi>f</mi>
<mo>&prime;</mo>
</msup>
<mrow>
<mo>(</mo>
<msub>
<mi>p</mi>
<mn>0</mn>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>f</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>p</mi>
<mn>0</mn>
</msub>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msub>
<mi>dv</mi>
<msub>
<mi>p</mi>
<mn>0</mn>
</msub>
</msub>
</mrow>
其中，p0表示遍历到的所述视频的三维几何代数空间中的像素点，f′(p0)表示像素点p0的灰度-运动矢量，f(p0)为像素点p0的灰度值，表示像素点p0的运动变化矢量。
3.根据权利要求1所述的方法，其特征在于，所述根据所述视频图像的GMCM与预先设置的变尺度的高斯函数，构造所述视频图像的GMCM的尺度空间，包括：
将所述视频图像的GMCM与所述预先设置的变尺度的高斯函数进行卷积运算，构造所述视频图像的GMCM的尺度空间。
4.根据权利要求3所述的方法，其特征在于，所述将所述视频图像的GMCM与所述预先设置的变尺度的高斯函数进行卷积运算，构造所述视频图像的GMCM的尺度空间，包括：
<mfenced open='' close=''>
<mtable>
<mtr>
<mtd>
<mi>L</mi>
<mrow>
<mo>(</mo>
<mi>p</mi>
<mo>,</mo>
<mi>&sigma;</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>G</mi>
<mrow>
<mo>(</mo>
<mi>p</mi>
<mo>,</mo>
<mi>&sigma;</mi>
<mo>)</mo>
</mrow>
<mo>&CircleTimes;</mo>
<msup>
<mi>f</mi>
<mo>&prime;</mo>
</msup>
<mrow>
<mo>(</mo>
<mi>p</mi>
<mo>)</mo>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mo>=</mo>
<mi>G</mi>
<mrow>
<mo>(</mo>
<mi>p</mi>
<mo>,</mo>
<mi>&sigma;</mi>
<mo>)</mo>
</mrow>
<mo>&CircleTimes;</mo>
<mrow>
<mo>(</mo>
<mi>f</mi>
<mrow>
<mo>(</mo>
<mi>p</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msub>
<mi>dv</mi>
<mi>p</mi>
</msub>
<mo>)</mo>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mo>=</mo>
<mi>G</mi>
<mrow>
<mo>(</mo>
<mi>p</mi>
<mo>,</mo>
<mi>&sigma;</mi>
<mo>)</mo>
</mrow>
<mo>&CircleTimes;</mo>
<mi>f</mi>
<mrow>
<mo>(</mo>
<mi>p</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<mi>G</mi>
<mrow>
<mo>(</mo>
<mi>p</mi>
<mo>,</mo>
<mi>&sigma;</mi>
<mo>)</mo>
</mrow>
<mo>&CircleTimes;</mo>
<msub>
<mi>dv</mi>
<mi>p</mi>
</msub>
</mtd>
</mtr>
</mtable>
</mfenced>
其中，表示卷积运算，p表示像素点，f′(p)表示像素点p的灰度-运动矢量，f(p)为像素点p的灰度值，dvp表示像素点p的运动变化矢量，G(p,σ)表示预先设置的变尺度的的高斯函数，σ表示所述视频的三维几何代数空间中所述高斯函数的尺度因子，L(p,σ)表示视频图像的GMCM的尺度空间。
5.根据权利要求4所述的方法，其特征在于，所述预先设置的变尺度的高斯函数如下：
其中，G(p,σ)表示所述变尺度的高斯函数，σ表示所述视频的三维几何代数空间中所述高斯函数的尺度因子，p表示像素点，“∧”表示外积计算符号，“·”表示内积计算符号，且所述高斯函数的窗口大小为l×l×l，且l＝6σ+1。
6.一种视频图像序列的尺度空间构造装置，其特征在于，所述装置包括：
几何构造模块，用于基于视频包含的视频图像序列的视频图像空域信息和时域信息，得到所述视频的三维几何代数空间；
遍历计算模块，用于遍历所述视频的三维几何代数空间的所有像素点，利用预置的灰度-运动矢量算法计算遍历到的像素点的灰度-运动矢量；
GMCM构造模块，用于利用所述视频的三维几何代数空间的所有像素点的灰度-运动矢量，构造所述视频的灰度与运动变化矩阵GMCM；
尺度空间构造模块，用于根据所述视频的GMCM与预先设置的变尺度的高斯函数，构造所述视频的尺度空间。
7.根据权利要求6所述的装置，其特征在于，所述灰度-运动矢量算法为：
<mrow>
<msup>
<mi>f</mi>
<mo>&prime;</mo>
</msup>
<mrow>
<mo>(</mo>
<msub>
<mi>p</mi>
<mn>0</mn>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>f</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>p</mi>
<mn>0</mn>
</msub>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msub>
<mi>dv</mi>
<msub>
<mi>p</mi>
<mn>0</mn>
</msub>
</msub>
</mrow>
其中，p0表示遍历到的所述视频的三维几何代数空间中的像素点，f′(p0)表示像素点p0的灰度-运动矢量，f(p0)为像素点p0的灰度值，表示像素点p0的运动变化矢量。
8.根据权利要求6所述的装置，其特征在于，所述尺度空间构造模块具体用于：
将所述视频图像的GMCM与所述预先设置的变尺度的高斯函数进行卷积运算，构造所述视频图像的GMCM的尺度空间。
9.根据权利要求8所述的装置，其特征在于，所述卷积运算包括：
<mfenced open='' close=''>
<mtable>
<mtr>
<mtd>
<mi>L</mi>
<mrow>
<mo>(</mo>
<mi>p</mi>
<mo>,</mo>
<mi>&sigma;</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>G</mi>
<mrow>
<mo>(</mo>
<mi>p</mi>
<mo>,</mo>
<mi>&sigma;</mi>
<mo>)</mo>
</mrow>
<mo>&CircleTimes;</mo>
<msup>
<mi>f</mi>
<mo>&prime;</mo>
</msup>
<mrow>
<mo>(</mo>
<mi>p</mi>
<mo>)</mo>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mo>=</mo>
<mi>G</mi>
<mrow>
<mo>(</mo>
<mi>p</mi>
<mo>,</mo>
<mi>&sigma;</mi>
<mo>)</mo>
</mrow>
<mo>&CircleTimes;</mo>
<mrow>
<mo>(</mo>
<mi>f</mi>
<mrow>
<mo>(</mo>
<mi>p</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msub>
<mi>dv</mi>
<mi>p</mi>
</msub>
<mo>)</mo>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mo>=</mo>
<mi>G</mi>
<mrow>
<mo>(</mo>
<mi>p</mi>
<mo>,</mo>
<mi>&sigma;</mi>
<mo>)</mo>
</mrow>
<mo>&CircleTimes;</mo>
<mi>f</mi>
<mrow>
<mo>(</mo>
<mi>p</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<mi>G</mi>
<mrow>
<mo>(</mo>
<mi>p</mi>
<mo>,</mo>
<mi>&sigma;</mi>
<mo>)</mo>
</mrow>
<mo>&CircleTimes;</mo>
<msub>
<mi>dv</mi>
<mi>p</mi>
</msub>
</mtd>
</mtr>
</mtable>
</mfenced>
其中，表示卷积运算，p表示像素点，f′(p)表示像素点p的灰度-运动矢量，f(p)为像素点p的灰度值，dvp表示像素点p的运动变化矢量，G(p,σ)表示预先设置的变尺度的的高斯函数，σ表示所述视频的三维几何代数空间中所述高斯函数的尺度因子，L(p,σ)表示视频图像的GMCM的尺度空间。
10.根据权利要求9所述的装置，其特征在于，所述预先设置的变尺度的高斯函数如下：
其中，G(p,σ)表示所述变尺度的高斯函数，σ表示所述视频的三维几何代数空间中所述高斯函数的尺度因子，p表示像素点，“∧”表示外积计算符号，“·”表示内积计算符号，且所述高斯函数的窗口大小为l×l×l，且l＝6σ+1。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710381909.XA CN107194359B (zh) | 2017-05-26 | 2017-05-26 | 一种视频图像序列的尺度空间构造方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710381909.XA CN107194359B (zh) | 2017-05-26 | 2017-05-26 | 一种视频图像序列的尺度空间构造方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107194359A true CN107194359A (zh) | 2017-09-22 |
| CN107194359B CN107194359B (zh) | 2021-01-22 |
Family
ID=59874992
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710381909.XA Active CN107194359B (zh) | 2017-05-26 | 2017-05-26 | 一种视频图像序列的尺度空间构造方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107194359B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108052859A (zh) * | 2017-10-31 | 2018-05-18 | 深圳大学 | 一种基于聚类光流特征的异常行为检测方法、***及装置 |
| CN108596959A (zh) * | 2018-05-21 | 2018-09-28 | 深圳大学 | 一种视频图像时空特征点的提取方法 |
| CN110837770A (zh) * | 2019-08-30 | 2020-02-25 | 深圳大学 | 一种基于多高斯模型的视频行为自适应分割方法及装置 |
| CN111833408A (zh) * | 2020-05-19 | 2020-10-27 | 南京泛在地理信息产业研究院有限公司 | 一种图像操作信息的层次编码与溯源方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101299799A (zh) * | 2008-06-13 | 2008-11-05 | 北京中星微电子有限公司 | 图像检测、修复方法和图像检测、修复装置 |
| CN102043967A (zh) * | 2010-12-08 | 2011-05-04 | 中国科学院自动化研究所 | 一种有效的运动目标行为建模与识别方法 |
| CN103325127A (zh) * | 2013-05-15 | 2013-09-25 | 深圳大学 | 一种多光谱图像sift特征提取和描述方法及其*** |
| CN104915967A (zh) * | 2015-05-08 | 2015-09-16 | 南京邮电大学 | 一种隧道内车辆运动路径的预测方法 |
| CN105893936A (zh) * | 2016-03-28 | 2016-08-24 | 浙江工业大学 | 一种基于hoirm和局部特征融合的行为识别方法 |
-
2017
- 2017-05-26 CN CN201710381909.XA patent/CN107194359B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101299799A (zh) * | 2008-06-13 | 2008-11-05 | 北京中星微电子有限公司 | 图像检测、修复方法和图像检测、修复装置 |
| CN102043967A (zh) * | 2010-12-08 | 2011-05-04 | 中国科学院自动化研究所 | 一种有效的运动目标行为建模与识别方法 |
| CN103325127A (zh) * | 2013-05-15 | 2013-09-25 | 深圳大学 | 一种多光谱图像sift特征提取和描述方法及其*** |
| CN104915967A (zh) * | 2015-05-08 | 2015-09-16 | 南京邮电大学 | 一种隧道内车辆运动路径的预测方法 |
| CN105893936A (zh) * | 2016-03-28 | 2016-08-24 | 浙江工业大学 | 一种基于hoirm和局部特征融合的行为识别方法 |
Non-Patent Citations (3)
| Title |
|---|
| KONSTANTINOS RAPANTZIKOS等: "Dense saliency-based spatiotemporal feature points for action recognition", 《2009 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
| 李岩山: "基于局部不变特征的交通异常视频图像检测的关键技术研究", 《中国博士学位论文全文数据库 信息科技辑》 * |
| 郭峰: "基于局部时空兴趣点的人体行为识别方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108052859A (zh) * | 2017-10-31 | 2018-05-18 | 深圳大学 | 一种基于聚类光流特征的异常行为检测方法、***及装置 |
| CN108596959A (zh) * | 2018-05-21 | 2018-09-28 | 深圳大学 | 一种视频图像时空特征点的提取方法 |
| CN110837770A (zh) * | 2019-08-30 | 2020-02-25 | 深圳大学 | 一种基于多高斯模型的视频行为自适应分割方法及装置 |
| CN110837770B (zh) * | 2019-08-30 | 2022-11-04 | 深圳大学 | 一种基于多高斯模型的视频行为自适应分割方法及装置 |
| CN111833408A (zh) * | 2020-05-19 | 2020-10-27 | 南京泛在地理信息产业研究院有限公司 | 一种图像操作信息的层次编码与溯源方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107194359B (zh) | 2021-01-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | SAT-GCN: Self-attention graph convolutional network-based 3D object detection for autonomous driving | |
| CN107194359A (zh) | 一种视频图像序列的尺度空间构造方法及装置 | |
| Zhi et al. | LightNet: A Lightweight 3D Convolutional Neural Network for Real-Time 3D Object Recognition. | |
| Barbič et al. | Subspace self-collision culling | |
| CN107392875A (zh) | 一种基于k近邻域划分的点云数据去噪方法 | |
| CN113837361A (zh) | 一种空气污染物浓度预测方法及*** | |
| CN113568410B (zh) | 一种异构智能体轨迹预测方法、***、设备及介质 | |
| CN107403182A (zh) | 基于3d sift框架的时空兴趣点的检测方法及装置 | |
| CN103279621B (zh) | 一种装配体的自动拆卸方法 | |
| CN102708589B (zh) | 一种基于特征聚类的三维目标多视点视图建模方法 | |
| CN103324784B (zh) | 一种基于局部约束的网格模型碰撞处理方法 | |
| Zeng et al. | Pr-rrn: pairwise-regularized residual-recursive networks for non-rigid structure-from-motion | |
| US9047676B2 (en) | Data processing apparatus generating motion of 3D model and method | |
| Lee et al. | Connectivity-based convolutional neural network for classifying point clouds | |
| CN104680567A (zh) | 根据曲率对三维模型进行帧聚类的方法 | |
| US7353148B1 (en) | Generation of displays of solutions to physics problems represented by complex mathematical equations using quantum computations or simulation of quantum computations on classic computers | |
| Zhou et al. | PersDet: Monocular 3D Detection in Perspective Bird's-Eye-View | |
| Ghanem et al. | Phase based modelling of dynamic textures | |
| CN102129570B (zh) | 用于动态视觉的基于流形正则化的半监督分类器设计方法 | |
| CN104966058A (zh) | 一种基于分层二叉树的行为识别方法 | |
| Zesch et al. | Neural collision detection for deformable objects | |
| Nie et al. | Towards Category Unification of 3D Single Object Tracking on Point Clouds | |
| Hou et al. | Depth estimation and object detection for monocular semantic SLAM using deep convolutional network | |
| Chi et al. | Federated Semi-Supervised Learning for Object Detection in Autonomous Driving | |
| Wang et al. | PAFNet: Pillar Attention Fusion Network for Vehicle–Infrastructure Cooperative Target Detection Using LiDAR |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information |
Inventor after: Li Yanshan Inventor after: Xie Weixin Inventor before: Li Yanshan Inventor before: Li Hongyi Inventor before: Xie Weixin |
|
| CB03 | Change of inventor or designer information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |