CN110866460B - 一种复杂场景视频中特定目标区域的侦测方法和装置 - Google Patents

一种复杂场景视频中特定目标区域的侦测方法和装置 Download PDF

Info

Publication number
CN110866460B
CN110866460B CN201911032762.9A CN201911032762A CN110866460B CN 110866460 B CN110866460 B CN 110866460B CN 201911032762 A CN201911032762 A CN 201911032762A CN 110866460 B CN110866460 B CN 110866460B
Authority
CN
China
Prior art keywords
type
video
scene
value
image frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911032762.9A
Other languages
English (en)
Other versions
CN110866460A (zh
Inventor
张睿
应振根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Quzhou University
Original Assignee
Quzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Quzhou University filed Critical Quzhou University
Priority to CN201911032762.9A priority Critical patent/CN110866460B/zh
Publication of CN110866460A publication Critical patent/CN110866460A/zh
Application granted granted Critical
Publication of CN110866460B publication Critical patent/CN110866460B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种复杂场景视频中特定目标区域的侦测方法和装置，该方法和装置综合利用复杂场景视频中的颜色、纹理和动态性等不同时空信息构建视频场景区域类型描述器，以此对特定目标区域进行侦测和确定，该视频场景区域类型描述器各个信息通道上的特征提取和计算方法简单高效、实时性好，视频样本学习效率高，并可实现实时在线训练；此外，该方法和装置在计算视频场景区域类型描述器各通道的类型值时，还引入了并行计算的方法，显著地提高了方法的整体运算效率，从而克服了现有方法实施在复杂场景视频中对特定目标区域侦测时运算效率低、实时性差的问题。

Description

一种复杂场景视频中特定目标区域的侦测方法和装置
技术领域
本发明涉及视频处理的技术领域，特别涉及一种复杂场景视频中特定目标区域的侦测方法和装置。
背景技术
随着视觉移动机器人、无人驾驶、无人机等技术的蓬勃发展，基于视觉的场景分析技术的重要性日益凸显。特定目标区域的侦测和辨识是基于视觉的场景分析中的一项关键技术，因为对特定目标区域(如常见障碍物)侦测和辨识结果的好坏，将直接影响移动机器人、无人驾驶、无人机等设备的运行模式与运行安全性。
由于无人驾驶、无人机等设备通常运行在较高的速度下，因此对运行中产生的实时视频数据的分析与处理效率要求较高。现有的面向自然场景视频的特定目标区域侦测方法存在以下一些缺陷：现有的部分方法内核是采用基于图像的目标区域侦测技术，其只使用了视频帧的空间信息，没有利用视频中关键的时间信息；第二、现有方法对视频特征的提取和处理完全是基于如深度学习等高运算复杂度的机器学习方法，计算耗时较长，其实时性不够好；第三、大多数基于机器学习的方法依赖于有较大样本数量的有监督学习训练过程，训练过程非常耗时，无法进行实时的在线训练。
发明内容
针对现有技术存在的缺陷，本发明提供一种复杂场景视频中特定目标区域的侦测方法和装置，该方法和装置综合利用复杂场景视频中的颜色、纹理和动态性等不同时空信息构建视频场景区域类型描述器，以此对特定目标区域进行侦测和确定，该视频场景区域类型描述器各个信息通道上的特征提取和计算方法简单高效、实时性好，视频样本学习效率高，并可实现实时在线训练；此外，该方法和装置在计算视频场景区域类型描述器各通道的类型值时，还引入了并行计算的方法，显著地提高了方法的整体运算效率，从而克服了现有方法实施在复杂场景视频中对特定目标区域侦测时运算效率低、实时性差的问题。
本发明提供一种复杂场景视频中特定目标区域的侦测方法，其特征在于，包括如下步骤：
步骤S1，构建关于复杂场景视频中的颜色信息、纹理信息和动态性信息的三通道的视频场景区域类型描述器；
步骤S2，将包含特定目标区域的视频样本输入至所述视频场景区域类型描述器，以输出获得关于所述特定目标区域的类型向量；
步骤S3，将所述复杂场景视频的某一图像帧输入至所述视频场景区域类型描述器，以分割获得若干场景区域，其中，每一个场景区域分别具有相应的类型向量；
步骤S4，获取所述每一个场景区域具有的类型向量与所述特定目标区域的类型向量之间的匹配度，若所述匹配度大于或者等于预设匹配度阈值，则确定所述某一图像帧当前的场景区域为所述特定目标区域；
进一步，在所述步骤S1中，构建关于复杂场景视频中的颜色信息、纹理信息和动态性信息的三通道的视频场景区域类型描述器具体包括，
步骤S101，构建关于所述复杂场景视频中的颜色信息通道，具体为，
S101A，将所述复杂场景视频的某一图像帧进行从RGB颜色空间到HSI颜色空间的转换处理，其中，色调H的取值范围为[0°，360°]，饱和度S和强度I的取值范围均为[0，1]；
S101B，将所述色调H对应的域值划分为如下6个子集：H1＝[30°，90°)、H2＝[90°，150°)、H3＝[150°，210°)、H4＝[210°，270°)、H5＝[270°，330°)和H6＝[330°，360°]∪[0°，30°)，以将所述某一图像帧对应的像素点进行关于所述6个子集的分类处理；
S101C，根据所述分类处理的结果，将所述某一图像帧的每一个像素点进行归一化与量化处理，以获得每一个像素点对应的颜色类型值H(i,j)|t，其中，所述颜色类型值H(i,j)|t的计算结果如下式(1)
Figure GDA0002704176960000031
在所述式(1)中，H(i,j)|t表示所述某一图像帧在坐标(i，j)处的像素点的颜色类型值；
步骤S102，构建关于所述复杂场景视频中的纹理信息通道，具体为，
S102A，通过原始LBP算子，计算获得所述复杂场景视频的某一图像帧在坐标(i，j)处的像素点的LBP纹理值W1(i,j)|t；
S102B，通过圆形LBP算子，计算获得所述复杂场景视频的某一图像帧在坐标(i，j)处的像素点的LBP纹理值W2(i,j)|t；
S102C，根据下面式(2)，获取所述某一图像帧在坐标(i，j)处的像素点的复合纹理特征值W(i，j)
Figure GDA0002704176960000032
S102D，根据下面式(3)，对所述复合纹理特征值W(i，j)进行归一化和量化计算，以得到相应的纹理类型值W(i,j)|t
Figure GDA0002704176960000033
在上述式(3)中，W(i，j)为所述某一图像帧在坐标(i，j)处的像素点的复合纹理特征值，W(i,j)|t为所述某一图像帧在坐标(i，j)处的像素点的纹理类型值；
步骤S103，构建关于所述复杂场景视频中的动态性信息通道，具体为，
S103A，基于HSI颜色空间的亮度I通道，构建关于所述复杂场景视频的某一图像帧在亮度I通道中每一个像素点的混合高斯背景模型GMM；
S103B，在所述亮度I通道上，统计每一个像素点对应的显著性强度值变化的次数，其中，所述显著性强度值变化是指像素点的强度值变化幅度超出其对应的混合高斯背景模型GMM所限定的强度值正常变化范围；
S103C，在所述亮度I通道上，根据下面式(4)，获取每一个像素点的近期动态特征值
Figure GDA0002704176960000041
在上述式(4)中，
Figure GDA0002704176960000042
为所述复杂场景视频在所述亮度I通道上从图像帧k到另一图像帧t之间的时间中处于坐标(i，j)处的像素点对应的显著性强度变化的次数，D(i，j)为在所述亮度I通道上从图像帧k到另一图像帧t之间的时间中处于坐标(i，j)处的像素点对应的显著性强度变化的频率，即D(i，j)为在所述亮度I通道上处于坐标(i，j)处的像素点对应的近期动态特征值，并且满足100≤t-k≤20000；
S103D，根据下面式(5)，对所述近期动态特征值D(i，j)进行量化处理，以得到动态性类型值D(i,j)|t
Figure GDA0002704176960000043
步骤S104，将所述颜色类型值、所述纹理类型值和所述动态性类型值进行串联，以构建得到所述视频场景区域类型描述器；
进一步，在所述步骤S2中，包含特定目标区域的视频样本输入至所述视频场景区域类型描述器，以输出获得关于所述特定目标区域的类型向量具体包括，
步骤S201，选取一有且仅有一个典型的特定目标区域的视频样本；
步骤S202，将所述视频样本以逐帧图像的方式输入所述视频场景区域类型描述器，对每一帧图像的特定目标区域中的各个像素点逐一计算得到其对应的类型向量，在对所有像素点的类型向量进行第平均向量计算处理，并将所述平均向量计算处理得到的平均向量作为对应帧图像中特定目标区域的类型向量；
进一步，在所述步骤S3中，将所述复杂场景视频的某一图像帧输入至所述视频场景区域类型描述器，以分割获得若干场景区域，其中，每一个场景区域分别具有相应的类型向量具体包括，
步骤S301，将所述复杂场景视频的某一图像帧输入至所述视频场景区域类型描述器后，所述视频场景区域类型描述器
基于并行计算模式，同步地计算得到所述复杂场景视频的某一图像帧中每一个像素点的颜色类型值、纹理类型值和动态性类型值；
步骤S302，将每一个像素点的颜色类型值、纹理类型值和动态性类型值串联组合成相应的类型向量，同时将具有相同类型向量的像素点归为同一个场景区域，以此分割获得若干场景区域，并且每一个场景区域具有相同且唯一的类型向量；
进一步，在所述步骤S4中，获取所述每一个场景区域具有的类型向量与所述特定目标区域的类型向量之间的匹配度，若所述匹配度大于或者等于预设匹配度阈值，则确定所述某一图像帧当前的场景区域为所述特定目标区域具体包括，
步骤S401，根据下式(6)，计算所述每一个场景区域具有的类型向量与所述特定目标区域的类型向量之间的匹配度M
Figure GDA0002704176960000061
在上述式(8)中，H(i,j)|t、W(i,j)|t、D(i,j)|t分别为所述复杂场景视频的某一图像帧中场景区域的颜色类型值、纹理类型值和动态性类型值，H(i,j)′、W(i,j)′、D(i,j)′分别为所述视频样本中特定目标区域的类型向量对应的颜色类型值、纹理类型值和动态性类型值，所述匹配度M的取值范围是[0％，100％]，当所述匹配度M＝100％时，表示所述每一个场景区域具有的类型向量与所述特定目标区域的类型向量之间完全匹配；
步骤S402，将所述预设匹配度阈值设为85％，若所述匹配度M大于或者等于85％，则确定所述某一图像帧当前的场景区域为所述特定目标区。
本发明还提供一种复杂场景视频中特定目标区域的侦测装置，其特征在于，所述装置包括：
视频场景区域类型描述器构建模块，其用于构建关于复杂场景视频中的颜色信息、纹理信息和动态性信息的三通道的视频场景区域类型描述器；
类型向量获取模块，其用于将包含特定目标区域的视频样本输入至所述视频场景区域类型描述器，以输出获得关于所述特定目标区域的类型向量；
场景区域分割模块，其用于将所述复杂场景视频的某一图像帧输入至所述视频场景区域类型描述器，以分割获得若干场景区域，其中，每一个场景区域分别具有相应的类型向量；
匹配度计算模块，其用于获取所述每一个场景区域具有的类型向量与所述特定目标区域的类型向量之间的匹配度；
匹配确定模块，其用于根据所述匹配度与预设匹配度阈值之间的关系，确定所述某一图像帧当前的场景区域是否为所述特定目标区域；
进一步，所述视频场景区域类型描述器构建模块包括颜色信息通道构建子模块、纹理信息通道构建子模块、动态性信息通道构建子模块和串联构建子模块；其中，
所述颜色信息通道构建子模块用于构建关于所述复杂场景视频中的颜色信息通道，具体为，
S101A，将所述复杂场景视频的某一图像帧进行从RGB颜色空间到HSI颜色空间的转换处理，其中，色调H的取值范围为[0°，360°]，饱和度S和强度I的取值范围均为[0，1]；
S101B，将所述色调H对应的域值划分为如下6个子集：H1＝[30°，90°)、H2＝[90°，150°)、H3＝[150°，210°)、H4＝[210°，270°)、H5＝[270°，330°)和H6＝[330°，360°]∪[0°，30°)，以将所述某一图像帧对应的像素点进行关于所述6个子集的分类处理；
S101C，根据所述分类处理的结果，将所述某一图像帧的每一个像素点进行归一化与量化处理，以获得每一个像素点对应的颜色类型值H(i,j)|t，其中，所述颜色类型值H(i,j)|t的计算结果如下式(1)
Figure GDA0002704176960000071
在所述式(1)中，H(i,j)|t表示所述某一图像帧在坐标(i，j)处的像素点的颜色类型值；
所述纹理信息通道构建子模块用于构建关于所述复杂场景视频中的纹理信息通道，具体为，
S102A，通过原始LBP算子，计算获得所述复杂场景视频的某一图像帧在坐标(i，j)处的像素点的LBP纹理值W1(i,j)|t；
S102B，通过圆形LBP算子，计算获得所述复杂场景视频的某一图像帧在坐标(i，j)处的像素点的LBP纹理值W2(i,j)|t；
S102C，根据下面式(2)，获取所述某一图像帧在坐标(i，j)处的像素点的复合纹理特征值W(i，j)
Figure GDA0002704176960000081
S102D，根据下面式(3)，对所述复合纹理特征值W(i，j)进行归一化和量化计算，以得到相应的纹理类型值W(i,j)|t
Figure GDA0002704176960000082
在上述式(3)中，W(i，j)为所述某一图像帧在坐标(i，j)处的像素点的复合纹理特征值，W(i,j)|t为所述某一图像帧在坐标(i，j)处的像素点的纹理类型值；
所述动态性信息通道构建子模块用于构建关于所述复杂场景视频中的动态性信息通道，具体为，
S103A，基于HSI颜色空间的亮度I通道，构建关于所述复杂场景视频的某一图像帧在亮度I通道中每一个像素点的混合高斯背景模型GMM；
S103B，在所述亮度I通道上，统计每一个像素点对应的显著性强度值变化的次数，其中，所述显著性强度值变化是指像素点的强度值变化幅度超出其对应的混合高斯背景模型GMM所限定的强度值正常变化范围；
S103C，在所述亮度I通道上，根据下面式(4)，获取每一个像素点的近期动态特征值
Figure GDA0002704176960000083
在上述式(4)中，
Figure GDA0002704176960000084
为所述复杂场景视频在所述亮度I通道上从图像帧k到另一图像帧t之间的时间中处于坐标(i，j)处的像素点对应的显著性强度变化的次数，D(i，j)为在所述亮度I通道上从图像帧k到另一图像帧t之间的时间中处于坐标(i，j)处的像素点对应的显著性强度变化的频率，即D(i，j)为在所述亮度I通道上处于坐标(i，j)处的像素点对应的近期动态特征值，并且满足100≤t-k≤20000；
S103D，根据下面式(5)，对所述近期动态特征值D(i，j)进行量化处理，以得到动态性类型值D(i,j)|t
Figure GDA0002704176960000091
所述串联构建子模块用于将所述颜色类型值、所述纹理类型值和所述动态性类型值进行串联，以构建得到所述视频场景区域类型描述器；
进一步，所述类型向量获取模块包括视频样本选取子模块和类型向量计算子模块；其中，
所述视频样本选取子模块用于选取一有且仅有一个典型的特定目标区域的视频样本；
所述类型向量计算子模块用于将所述视频样本以逐帧图像的方式输入所述视频场景区域类型描述器，对每一帧图像的特定目标区域中的各个像素点逐一计算得到其对应的类型向量，在对所有像素点的类型向量进行平均向量计算处理，并将所述平均向量计算处理得到的平均向量作为对应帧图像中特定目标区域的类型向量；
进一步，所述场景区域分割模块包括实时类型值计算子模块和分割处理子模块；其中，
所述实时类型值计算子模块用于将所述复杂场景视频的某一图像帧输入至所述视频场景区域类型描述器后，所述视频场景区域类型描述器基于并行计算模式，同步地计算得到所述复杂场景视频的某一图像帧中每一个像素点的颜色类型值、纹理类型值和动态性类型值；
所述分割处理子模块用于将每一个像素点的颜色类型值、纹理类型值和动态性类型值串联组合成相应的类型向量，同时将具有相同类型向量的像素点归为同一个场景区域，以此分割获得若干场景区域，并且每一个场景区域具有相同且唯一的类型向量；
进一步，所述匹配度计算模块获取所述匹配度具体为，
根据下式(6)，计算所述每一个场景区域具有的类型向量与所述特定目标区域的类型向量之间的匹配度M
Figure GDA0002704176960000101
在上述式(6)中，H(i,j)|t、W(i,j)|t、D(i,j)|t分别为所述复杂场景视频的某一图像帧中场景区域的颜色类型值、纹理类型值和动态性类型值，H(i,j)′、W(i,j)′、D(i,j)′分别为所述视频样本中特定目标区域的类型向量对应的颜色类型值、纹理类型值和动态性类型值，所述匹配度M的取值范围是[0％，100％]，当所述匹配度M＝100％时，表示所述每一个场景区域具有的类型向量与所述特定目标区域的类型向量之间完全匹配；
所述匹配确定模块确定所述某一图像帧当前的场景区域是否为所述特定目标区域具体为，
将所述预设匹配度阈值设为85％，若所述匹配度M大于或者等于85％，则确定所述某一图像帧当前的场景区域为所述特定目标区
相比于现有技术，该复杂场景视频中特定目标区域的侦测方法和装置综合利用复杂场景视频中的颜色、纹理和动态性等不同时空信息构建视频场景区域类型描述器，以此对特定目标区域进行侦测和确定，该视频场景区域类型描述器各个信息通道上的特征提取和计算方法简单高效、实时性好，视频样本学习效率高，并可实现实时在线训练；此外，该方法和装置在计算视频场景区域类型描述器各通道的类型值时，还引入了并行计算的方法，显著地提高了方法的整体运算效率，从而克服了现有方法实施在复杂场景视频中对特定目标区域侦测时运算效率低、实时性差的问题。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种复杂场景视频中特定目标区域的侦测方法的流程示意图。
图2为本发明提供的一种复杂场景视频中特定目标区域的侦测方法中HSI颜色空间的模型示意图。
图3为本发明提供的一种复杂场景视频中特定目标区域的侦测方法中原始LBP算子的示意图。
图4为本发明提供的一种复杂场景视频中特定目标区域的侦测方法中圆形LBP算子的示意图。
图5为本发明提供的一种复杂场景视频中特定目标区域的侦测方法中场景视频的示意图。
图6为本发明提供的一种复杂场景视频中特定目标区域的侦测装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参阅图1，为本发明实施例提供的一种复杂场景视频中特定目标区域的侦测方法的流程示意图。该复杂场景视频中特定目标区域的侦测方法包括如下步骤：
步骤S1，构建关于复杂场景视频中的颜色信息、纹理信息和动态性信息的三通道的视频场景区域类型描述器；
步骤S2，将包含特定目标区域的视频样本输入至该视频场景区域类型描述器，以输出获得关于该特定目标区域的类型向量；
步骤S3，将该复杂场景视频的某一图像帧输入至该视频场景区域类型描述器，以分割获得若干场景区域，其中，每一个场景区域分别具有相应的类型向量；
步骤S4，获取该每一个场景区域具有的类型向量与该特定目标区域的类型向量之间的匹配度，若该匹配度大于或者等于预设匹配度阈值，则确定该某一图像帧当前的场景区域为该特定目标区域。
优选地，在该步骤S1中，构建关于复杂场景视频中的颜色信息、纹理信息和动态性信息的三通道的视频场景区域类型描述器具体包括，
步骤S101，构建关于该复杂场景视频中的颜色信息通道，具体为，
S101A，将该复杂场景视频的某一图像帧进行从RGB颜色空间到HSI颜色空间的转换处理，在RGB颜色空间中，R表示红色、G表示绿色、B表示蓝色，在HSI颜色空间中，H表示色调、S表示饱和度、I表示强度，其中，色调H的取值范围为[0°，360°]，饱和度S和强度I的取值范围均为[0，1]；
S101B，将该色调H对应的域值划分为如下6个子集：H1＝[30°，90°)、H2＝[90°，150°)、H3＝[150°，210°)、H4＝[210°，270°)、H5＝[270°，330°)和H6＝[330°，360°]∪[0°，30°)，以将该某一图像帧对应的像素点进行关于该6个子集的分类处理，其中，H1代表红色色调区域、H2品红色色调区域、H3蓝色色调区域、H4青色色调区域、H5绿色色调区域、H6黄色色调区域，相应地，该6个子集对应的颜色空间分布模型对应于图2所示的HSI颜色空间的模型示意图；
S101C，根据该分类处理的结果，将该某一图像帧的每一个像素点进行归一化与量化处理，以获得每一个像素点对应的颜色类型值H(i,j)|t，其中，该颜色类型值H(i,j)|t的计算结果如下式(1)
Figure GDA0002704176960000131
在该式(1)中，H(i,j)|t表示该某一图像帧在坐标(i，j)处的像素点的颜色类型值；
步骤S102，构建关于该复杂场景视频中的纹理信息通道，具体为，
S102A，通过原始LBP算子，计算获得该复杂场景视频的某一图像帧在坐标(i，j)处的像素点的LBP纹理值W1(i,j)|t，如图3所示，其为原始LBP算子的示意图，具体采用原始LBP算子计算LBP纹理值W1(i,j)|t的过程可参照现有技术中的相关内容，这里不再累述；
S102B，通过圆形LBP算子，计算获得该复杂场景视频的某一图像帧在坐标(i，j)处的像素点的LBP纹理值W2(i,j)|t，如图4所示，其为圆形LBP算子的示意图，具体采用圆形LBP算子计算LBP纹理值W1(i,j)|t的过程可参照现有技术中的相关内容，这里不再累述；
S102C，根据下面式(2)，获取该某一图像帧在坐标(i，j)处的像素点的复合纹理特征值W(i，j)
Figure GDA0002704176960000141
S102D，根据下面式(3)，对该复合纹理特征值W(i，j)进行归一化和量化计算，以得到相应的纹理类型值W(i,j)|t
Figure GDA0002704176960000142
在上述式(3)中，W(i，j)为该某一图像帧在坐标(i，j)处的像素点的复合纹理特征值，W(i,j)|t为该某一图像帧在坐标(i，j)处的像素点的纹理类型值；
步骤S103，构建关于该复杂场景视频中的动态性信息通道，具体为，
S103A，基于HSI颜色空间的亮度I通道，构建关于该复杂场景视频的某一图像帧在亮度I通道中每一个像素点的混合高斯背景模型GMM；
S103B，在该亮度I通道上，统计每一个像素点对应的显著性强度值变化的次数，其中，该显著性强度值变化是指像素点的强度值变化幅度超出其对应的混合高斯背景模型GMM所限定的强度值正常变化范围；
S103C，在该亮度I通道上，根据下面式(4)，获取每一个像素点的近期动态特征值
Figure GDA0002704176960000143
在上述式(4)中，
Figure GDA0002704176960000144
为该复杂场景视频在该亮度I通道上从图像帧k到另一图像帧t之间的时间中处于坐标(i，j)处的像素点对应的显著性强度变化的次数，D(i，j)为在该亮度I通道上从图像帧k到另一图像帧t之间的时间中处于坐标(i，j)处的像素点对应的显著性强度变化的频率，即D(i，j)为在该亮度I通道上处于坐标(i，j)处的像素点对应的近期动态特征值，并且满足100≤t-k≤20000；
S103D，根据下面式(5)，对该近期动态特征值D(i，j)进行量化处理，以得到该动态性类型值D(i,j)|t
Figure GDA0002704176960000151
步骤S104，将该颜色类型值、该纹理类型值和该动态性类型值进行串联，以构建得到该视频场景区域类型描述器。
优选地，在该步骤S2中，包含特定目标区域的视频样本输入至该视频场景区域类型描述器，以输出获得关于该特定目标区域的类型向量具体包括，
步骤S201，选取一有且仅有一个典型的特定目标区域的视频样本；
步骤S202，将该视频样本以逐帧图像的方式输入该视频场景区域类型描述器，对每一帧图像的特定目标区域中的各个像素点逐一计算得到其对应的类型向量，在对所有像素点的类型向量进行平均向量计算处理，并将该平均向量计算处理得到的平均向量作为对应帧图像中特定目标区域的类型向量。
优选地，在该步骤S3中，将该复杂场景视频的某一图像帧输入至该视频场景区域类型描述器，以分割获得若干场景区域，其中，每一个场景区域分别具有相应的类型向量具体包括，
步骤S301，将该复杂场景视频的某一图像帧输入至该视频场景区域类型描述器后，该视频场景区域类型描述器基于并行计算模式，同步地计算得到该复杂场景视频的某一图像帧中每一个像素点的颜色类型值、纹理类型值和动态性类型值；
步骤S302，将每一个像素点的颜色类型值、纹理类型值和动态性类型值串联组合成相应的类型向量，同时将具有相同类型向量的像素点归为同一个场景区域，以此分割获得若干场景区域，并且每一个场景区域具有相同且唯一的类型向量。
优选地，在该步骤S4中，获取该每一个场景区域具有的类型向量与该特定目标区域的类型向量之间的匹配度，若该匹配度大于或者等于预设匹配度阈值，则确定该某一图像帧当前的场景区域为该特定目标区域具体包括，
步骤S401，根据下式(6)，计算该每一个场景区域具有的类型向量与该特定目标区域的类型向量之间的匹配度M
Figure GDA0002704176960000161
在上述式(6)中，H(i,j)|t、W(i,j)|t、D(i,j)|t分别为该复杂场景视频的某一图像帧中场景区域的颜色类型值、纹理类型值和动态性类型值，H(i,j)′、W(i,j)′、D(i,j)′分别为该视频样本中特定目标区域的类型向量对应的颜色类型值、纹理类型值和动态性类型值，该匹配度M的取值范围是[0％，100％]，当该匹配度M＝100％时，表示该每一个场景区域具有的类型向量与该特定目标区域的类型向量之间完全匹配；
步骤S402，将该预设匹配度阈值设为85％，若该匹配度M大于或者等于85％，则确定该某一图像帧当前的场景区域为该特定目标区。
具体如图5所示的场景视频，该场景视频的分辨率为1080*768，帧率为30帧/秒，时长为10分钟，其时间跨度长，场景内容复杂，颜色信息丰富多样，通过上述复杂场景视频中特定目标区域的侦测方法能够显著地提高其整体运算效率，从而提高对视频复杂场景区域侦测的有效性、正确性和运算效率。
参阅图6，为本发明实施例提供的一种复杂场景视频中特定目标区域的侦测装置的结构示意图。该复杂场景视频中特定目标区域的侦测装置包括：
视频场景区域类型描述器构建模块，其用于构建关于复杂场景视频中的颜色信息、纹理信息和动态性信息的三通道的视频场景区域类型描述器；
类型向量获取模块，其用于将包含特定目标区域的视频样本输入至该视频场景区域类型描述器，以输出获得关于该特定目标区域的类型向量；
场景区域分割模块，其用于将该复杂场景视频的某一图像帧输入至该视频场景区域类型描述器，以分割获得若干场景区域，其中，每一个场景区域分别具有相应的类型向量；
匹配度计算模块，其用于获取该每一个场景区域具有的类型向量与该特定目标区域的类型向量之间的匹配度；
匹配确定模块，其用于根据该匹配度与预设匹配度阈值之间的关系，确定该某一图像帧当前的场景区域是否为该特定目标区域。
优选地，该视频场景区域类型描述器构建模块包括颜色信息通道构建子模块、纹理信息通道构建子模块、动态性信息通道构建子模块和串联构建子模块；其中，
该颜色信息通道构建子模块用于构建关于该复杂场景视频中的颜色信息通道，具体为，
S101A，将该复杂场景视频的某一图像帧进行从RGB颜色空间到HSI颜色空间的转换处理，其中，色调H的取值范围为[0°，360°]，饱和度S和强度I的取值范围均为[0，1]；
S101B，将该色调H对应的域值划分为如下6个子集：H1＝[30°，90°)、H2＝[90°，150°)、H3＝[150°，210°)、H4＝[210°，270°)、H5＝[270°，330°)和H6＝[330°，360°]∪[0°，30°)，以将该某一图像帧对应的像素点进行关于该6个子集的分类处理；
S101C，根据该分类处理的结果，将该某一图像帧的每一个像素点进行归一化与量化处理，以获得每一个像素点对应的颜色类型值H(i,j)|t，其中，该颜色类型值H(i,j)|t的计算结果如下式(1)
Figure GDA0002704176960000181
在该式(1)中，H(i,j)|t表示该某一图像帧在坐标(i，j)处的像素点的颜色类型值；
该纹理信息通道构建子模块用于构建关于该复杂场景视频中的纹理信息通道，具体为，
S102A，通过原始LBP算子，计算获得该复杂场景视频的某一图像帧在坐标(i，j)处的像素点的LBP纹理值W1(i,j)|t；
S102B，通过圆形LBP算子，计算获得该复杂场景视频的某一图像帧在坐标(i，j)处的像素点的LBP纹理值W2(i,j)|t；
S102C，根据下面式(2)，获取该某一图像帧在坐标(i，j)处的像素点的复合纹理特征值W(i，j)
Figure GDA0002704176960000182
S102D，根据下面式(3)，对该复合纹理特征值W(i，j)进行归一化和量化计算，以得到相应的纹理类型值W(i,j)|t
Figure GDA0002704176960000183
在上述式(3)中，W(i，j)为该某一图像帧在坐标(i，j)处的像素点的复合纹理特征值，W(i,j)|t为该某一图像帧在坐标(i，j)处的像素点的纹理类型值；
该动态性信息通道构建子模块用于构建关于该复杂场景视频中的动态性信息通道，具体为，
S103A，基于HSI颜色空间的亮度I通道，构建关于该复杂场景视频的某一图像帧在亮度I通道中每一个像素点的混合高斯背景模型GMM；
S103B，在该亮度I通道上，统计每一个像素点对应的显著性强度值变化的次数，其中，该显著性强度值变化是指像素点的强度值变化幅度超出其对应的混合高斯背景模型GMM所限定的强度值正常变化范围；
S103C，在该亮度I通道上，根据下面式(4)，获取每一个像素点的近期动态特征值
Figure GDA0002704176960000191
在上述式(4)中，
Figure GDA0002704176960000192
为该复杂场景视频在该亮度I通道上从图像帧k到另一图像帧t之间的时间中处于坐标(i，j)处的像素点对应的显著性强度变化的次数，D(i，j)为在该亮度I通道上从图像帧k到另一图像帧t之间的时间中处于坐标(i，j)处的像素点对应的显著性强度变化的频率，即D(i，j)为在该亮度I通道上处于坐标(i，j)处的像素点对应的近期动态特征值，并且满足100≤t-k≤20000；
S103D，根据下面式(5)，对该近期动态特征值D(i，j)进行量化处理，以得到该动态性类型值D(i,j)|t
Figure GDA0002704176960000193
该串联构建子模块用于将该颜色类型值、该纹理类型值和该动态性类型值进行串联，以构建得到该视频场景区域类型描述器。
优选地，该类型向量获取模块包括视频样本选取子模块和类型向量计算子模块；其中，
该视频样本选取子模块用于选取一有且仅有一个典型的特定目标区域的视频样本；
该类型向量计算子模块用于将该视频样本以逐帧图像的方式输入该视频场景区域类型描述器，对每一帧图像的特定目标区域中的各个像素点逐一计算得到其对应的类型向量，在对所有像素点的类型向量进行平均向量计算处理，并将该平均向量计算处理得到的平均向量作为对应帧图像中特定目标区域的类型向量。
优选地，该场景区域分割模块包括实时类型值计算子模块和分割处理子模块；其中，
该实时类型值计算子模块用于将该复杂场景视频的某一图像帧输入至该视频场景区域类型描述器后，该视频场景区域类型描述器基于并行计算模式，同步地计算得到该复杂场景视频的某一图像帧中每一个像素点的颜色类型值、纹理类型值和动态性类型值；
该分割处理子模块用于将每一个像素点的颜色类型值、纹理类型值和动态性类型值串联组合成相应的类型向量，同时将具有相同类型向量的像素点归为同一个场景区域，以此分割获得若干场景区域，并且每一个场景区域具有相同且唯一的类型向量。
优选地，该匹配度计算模块获取该匹配度具体为，
根据下式(6)，计算该每一个场景区域具有的类型向量与该特定目标区域的类型向量之间的匹配度M
Figure GDA0002704176960000201
在上述式(6)中，H(i,j)|t、W(i,j)|t、D(i,j)|t分别为该复杂场景视频的某一图像帧中场景区域的颜色类型值、纹理类型值和动态性类型值，H(i,j)′、W(i,j)′、D(i,j)′分别为该视频样本中特定目标区域的类型向量对应的颜色类型值、纹理类型值和动态性类型值，该匹配度M的取值范围是[0％，100％]，当该匹配度M＝100％时，表示该每一个场景区域具有的类型向量与该特定目标区域的类型向量之间完全匹配；
该匹配确定模块确定该某一图像帧当前的场景区域是否为该特定目标区域具体为，
将该预设匹配度阈值设为85％，若该匹配度M大于或者等于85％，则确定该某一图像帧当前的场景区域为该特定目标区。
从上述实施例的内容可知，该复杂场景视频中特定目标区域的侦测方法和装置综合利用复杂场景视频中的颜色、纹理和动态性等不同时空信息构建视频场景区域类型描述器，以此对特定目标区域进行侦测和确定，该视频场景区域类型描述器各个信息通道上的特征提取和计算方法简单高效、实时性好，视频样本学习效率高，并可实现实时在线训练；此外，该方法和装置在计算视频场景区域类型描述器各通道的类型值时，还引入了并行计算的方法，显著地提高了方法的整体运算效率，从而克服了现有方法实施在复杂场景视频中对特定目标区域侦测时运算效率低、实时性差的问题。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (6)

1.一种复杂场景视频中特定目标区域的侦测方法，其特征在于，包括如下步骤：
步骤S1，构建关于复杂场景视频中的颜色信息、纹理信息和动态性信息的三通道的视频场景区域类型描述器；
步骤S2，将包含特定目标区域的视频样本输入至所述视频场景区域类型描述器，以输出获得关于所述特定目标区域的类型向量；
步骤S3，将所述复杂场景视频的某一图像帧输入至所述视频场景区域类型描述器，以分割获得若干场景区域，其中，每一个场景区域分别具有相应的类型向量；
步骤S4，获取所述每一个场景区域具有的类型向量与所述特定目标区域的类型向量之间的匹配度，若所述匹配度大于或者等于预设匹配度阈值，则确定所述某一图像帧当前的场景区域为所述特定目标区域；
在所述步骤S2中，包含特定目标区域的视频样本输入至所述视频场景区域类型描述器，以输出获得关于所述特定目标区域的类型向量具体包括，
步骤S201，选取一有且仅有一个典型的特定目标区域的视频样本；
步骤S202，将所述视频样本以逐帧图像的方式输入所述视频场景区域类型描述器，对每一帧图像的特定目标区域中的各个像素点逐一计算得到其对应的类型向量，在对所有像素点的类型向量进行平均向量计算处理，并将所述平均向量计算处理得到的平均向量作为对应帧图像中特定目标区域的类型向量；
在所述步骤S1中，构建关于复杂场景视频中的颜色信息、纹理信息和动态性信息的三通道的视频场景区域类型描述器具体包括，
步骤S101，构建关于所述复杂场景视频中的颜色信息通道，具体为，
S101A，将所述复杂场景视频的某一图像帧进行从RGB颜色空间到HSI颜色空间的转换处理，其中，色调H的取值范围为[0°，360°]，饱和度S和强度I的取值范围均为[0，1]；
S101B，将所述色调H对应的域值划分为如下6个子集：H1＝[30°，90°)、H2＝[90°，150°)、H3＝[150°，210°)、H4＝[210°，270°)、H5＝[270°，330°)和H6＝[330°，360°]∪[0°，30°)，以将所述某一图像帧对应的像素点进行关于所述6个子集的分类处理；
S101C，根据所述分类处理的结果，将所述某一图像帧的每一个像素点进行归一化与量化处理，以获得每一个像素点对应的颜色类型值H(i,j)|t，其中，所述颜色类型值H(i,j)|t的计算结果如下式(1)
Figure FDA0002704176950000021
在所述式(1)中，H(i,j)|t表示所述某一图像帧在坐标(i，j)处的像素点的颜色类型值；
步骤S102，构建关于所述复杂场景视频中的纹理信息通道，具体为，
S102A，通过原始LBP算子，计算获得所述复杂场景视频的某一图像帧在坐标(i，j)处的像素点的LBP纹理值W1(i,j)|t；
S102B，通过圆形LBP算子，计算获得所述复杂场景视频的某一图像帧在坐标(i，j)处的像素点的LBP纹理值W2(i,j)|t；
S102C，根据下面式(2)，获取所述某一图像帧在坐标(i，j)处的像素点的复合纹理特征值W(i，j)
Figure FDA0002704176950000031
S102D，根据下面式(3)，对所述复合纹理特征值W(i，j)进行归一化和量化计算，以得到相应的纹理类型值W(i,j)|t
Figure FDA0002704176950000032
在上述式(3)中，W(i，j)为所述某一图像帧在坐标(i，j)处的像素点的复合纹理特征值，W(i,j)|t为所述某一图像帧在坐标(i，j)处的像素点的纹理类型值；
步骤S103，构建关于所述复杂场景视频中的动态性信息通道，具体为，
S103A，基于HSI颜色空间的亮度I通道，构建关于所述复杂场景视频的某一图像帧在亮度I通道中每一个像素点的混合高斯背景模型GMM；
S103B，在所述亮度I通道上，统计每一个像素点对应的显著性强度值变化的次数，其中，所述显著性强度值变化是指像素点的强度值变化幅度超出其对应的混合高斯背景模型GMM所限定的强度值正常变化范围；
S103C，在所述亮度I通道上，根据下面式(4)，获取每一个像素点的近期动态特征值
Figure FDA0002704176950000033
在上述式(4)中，
Figure FDA0002704176950000034
为所述复杂场景视频在所述亮度I通道上从图像帧k到另一图像帧t之间的时间中处于坐标(i，j)处的像素点对应的显著性强度变化的次数，D(i，j)为在所述亮度I通道上从图像帧k到另一图像帧t之间的时间中处于坐标(i，j)处的像素点对应的显著性强度变化的频率，即D(i，j)为在所述亮度I通道上处于坐标(i，j)处的像素点对应的近期动态特征值，并且满足100≤t-k≤20000；
S103D，根据下面式(5)，对所述近期动态特征值D(i，j)进行量化处理，以得到动态性类型值D(i,j)|t
Figure FDA0002704176950000041
步骤S104，将所述颜色类型值、所述纹理类型值和所述动态性类型值进行串联，以构建得到所述视频场景区域类型描述器。
2.如权利要求1所述的复杂场景视频中特定目标区域的侦测方法，其特征在于：
在所述步骤S3中，将所述复杂场景视频的某一图像帧输入至所述视频场景区域类型描述器，以分割获得若干场景区域，其中，每一个场景区域分别具有相应的类型向量具体包括，
步骤S301，将所述复杂场景视频的某一图像帧输入至所述视频场景区域类型描述器后，所述视频场景区域类型描述器基于并行计算模式，同步地计算得到所述复杂场景视频的某一图像帧中每一个像素点的颜色类型值、纹理类型值和动态性类型值；
步骤S302，将每一个像素点的颜色类型值、纹理类型值和动态性类型值串联组合成相应的类型向量，同时将具有相同类型向量的像素点归为同一个场景区域，以此分割获得若干场景区域，并且每一个场景区域具有相同且唯一的类型向量。
3.如权利要求1所述的复杂场景视频中特定目标区域的侦测方法，其特征在于：
在所述步骤S4中，获取所述每一个场景区域具有的类型向量与所述特定目标区域的类型向量之间的匹配度，若所述匹配度大于或者等于预设匹配度阈值，则确定所述某一图像帧当前的场景区域为所述特定目标区域具体包括，
步骤S401，根据下式(6)，计算所述每一个场景区域具有的类型向量与所述特定目标区域的类型向量之间的匹配度M
Figure FDA0002704176950000051
在上述式(6)中，H(i,j)|t、W(i,j)|t、D(i,j)|t分别为所述复杂场景视频的某一图像帧中场景区域的颜色类型值、纹理类型值和动态性类型值，H(i,j)′、W(i,j)′、D(i,j)′分别为所述视频样本中特定目标区域的类型向量对应的颜色类型值、纹理类型值和动态性类型值，所述匹配度M的取值范围是[0％，100％]，当所述匹配度M＝100％时，表示所述每一个场景区域具有的类型向量与所述特定目标区域的类型向量之间完全匹配；
步骤S402，将所述预设匹配度阈值设为85％，若所述匹配度M大于或者等于85％，则确定所述某一图像帧当前的场景区域为所述特定目标区。
4.一种复杂场景视频中特定目标区域的侦测装置，其特征在于，所述装置包括：
视频场景区域类型描述器构建模块，其用于构建关于复杂场景视频中的颜色信息、纹理信息和动态性信息的三通道的视频场景区域类型描述器；
类型向量获取模块，其用于将包含特定目标区域的视频样本输入至所述视频场景区域类型描述器，以输出获得关于所述特定目标区域的类型向量；
场景区域分割模块，其用于将所述复杂场景视频的某一图像帧输入至所述视频场景区域类型描述器，以分割获得若干场景区域，其中，每一个场景区域分别具有相应的类型向量；
匹配度计算模块，其用于获取所述每一个场景区域具有的类型向量与所述特定目标区域的类型向量之间的匹配度；
匹配确定模块，其用于根据所述匹配度与预设匹配度阈值之间的关系，确定所述某一图像帧当前的场景区域是否为所述特定目标区域；
所述类型向量获取模块包括视频样本选取子模块和类型向量计算子模块；其中，
所述视频样本选取子模块用于选取一有且仅有一个典型的特定目标区域的视频样本；
所述类型向量计算子模块用于将所述视频样本以逐帧图像的方式输入所述视频场景区域类型描述器，对每一帧图像的特定目标区域中的各个像素点逐一计算得到其对应的类型向量，在对所有像素点的类型向量进行平均向量计算处理，并将所述平均向量计算处理得到的平均向量作为对应帧图像中特定目标区域的类型向量；
所述视频场景区域类型描述器构建模块包括颜色信息通道构建子模块、纹理信息通道构建子模块、动态性信息通道构建子模块和串联构建子模块；其中，
所述颜色信息通道构建子模块用于构建关于所述复杂场景视频中的颜色信息通道，具体为，
S101A，将所述复杂场景视频的某一图像帧进行从RGB颜色空间到HSI颜色空间的转换处理，其中，色调H的取值范围为[0°，360°]，饱和度S和强度I的取值范围均为[0，1]；
S101B，将所述色调H对应的域值划分为如下6个子集：H1＝[30°，90°)、H2＝[90°，150°)、H3＝[150°，210°)、H4＝[210°，270°)、H5＝[270°，330°)和H6＝[330°，360°]∪[0°，30°)，以将所述某一图像帧对应的像素点进行关于所述6个子集的分类处理；
S101C，根据所述分类处理的结果，将所述某一图像帧的每一个像素点进行归一化与量化处理，以获得每一个像素点对应的颜色类型值H(i,j)|t，其中，所述颜色类型值H(i,j)|t的计算结果如下式(1)
Figure FDA0002704176950000071
在所述式(1)中，H(i,j)|t表示所述某一图像帧在坐标(i，j)处的像素点的颜色类型值；
所述纹理信息通道构建子模块用于构建关于所述复杂场景视频中的纹理信息通道，具体为，
S102A，通过原始LBP算子，计算获得所述复杂场景视频的某一图像帧在坐标(i，j)处的像素点的LBP纹理值W1(i,j)|t；
S102B，通过圆形LBP算子，计算获得所述复杂场景视频的某一图像帧在坐标(i，j)处的像素点的LBP纹理值W2(i,j)|t；
S102C，根据下面式(2)，获取所述某一图像帧在坐标(i，j)处的像素点的复合纹理特征值W(i，j)
Figure FDA0002704176950000072
S102D，根据下面式(3)，对所述复合纹理特征值W(i，j)进行归一化和量化计算，以得到相应的纹理类型值W(i,j)|t
Figure FDA0002704176950000081
在上述式(3)中，W(i，j)为所述某一图像帧在坐标(i，j)处的像素点的复合纹理特征值，W(i,j)|t为所述某一图像帧在坐标(i，j)处的像素点的纹理类型值；
所述动态性信息通道构建子模块用于构建关于所述复杂场景视频中的动态性信息通道，具体为，
S103A，基于HSI颜色空间的亮度I通道，构建关于所述复杂场景视频的某一图像帧在亮度I通道中每一个像素点的混合高斯背景模型GMM；
S103B，在所述亮度I通道上，统计每一个像素点对应的显著性强度值变化的次数，其中，所述显著性强度值变化是指像素点的强度值变化幅度超出其对应的混合高斯背景模型GMM所限定的强度值正常变化范围；
S103C，在所述亮度I通道上，根据下面式(4)，获取每一个像素点的近期动态特征值
Figure FDA0002704176950000082
在上述式(4)中，
Figure FDA0002704176950000083
为所述复杂场景视频在所述亮度I通道上从图像帧k到另一图像帧t之间的时间中处于坐标(i，j)处的像素点对应的显著性强度变化的次数，D(i，j)为在所述亮度I通道上从图像帧k到另一图像帧t之间的时间中处于坐标(i，j)处的像素点对应的显著性强度变化的频率，即D(i，j)为在所述亮度I通道上处于坐标(i，j)处的像素点对应的近期动态特征值，并且满足100≤t-k≤20000；
S103D，根据下面式(5)，对所述近期动态特征值D(i，j)进行量化处理，以得到动态性类型值D(i,j)|t
Figure FDA0002704176950000091
所述串联构建子模块用于将所述颜色类型值、所述纹理类型值和所述动态性类型值进行串联，以构建得到所述视频场景区域类型描述器。
5.如权利要求4所述的复杂场景视频中特定目标区域的侦测装置，其特征在于：
所述场景区域分割模块包括实时类型值计算子模块和分割处理子模块；其中，
所述实时类型值计算子模块用于将所述复杂场景视频的某一图像帧输入至所述视频场景区域类型描述器后，所述视频场景区域类型描述器基于并行计算模式，同步地计算得到所述复杂场景视频的某一图像帧中每一个像素点的颜色类型值、纹理类型值和动态性类型值；
所述分割处理子模块用于将每一个像素点的颜色类型值、纹理类型值和动态性类型值串联组合成相应的类型向量，同时将具有相同类型向量的像素点归为同一个场景区域，以此分割获得若干场景区域，并且每一个场景区域具有相同且唯一的类型向量。
6.如权利要求4所述的复杂场景视频中特定目标区域的侦测装置，其特征在于：
所述匹配度计算模块获取所述匹配度具体为，
根据下式(6)，计算所述每一个场景区域具有的类型向量与所述特定目标区域的类型向量之间的匹配度M
Figure FDA0002704176950000101
在上述式(6)中，H(i,j)|t、W(i,j)|t、D(i,j)|t分别为所述复杂场景视频的某一图像帧中场景区域的颜色类型值、纹理类型值和动态性类型值，H(i,j)′、W(i,j)′、D(i,j)′分别为所述视频样本中特定目标区域的类型向量对应的颜色类型值、纹理类型值和动态性类型值，所述匹配度M的取值范围是[0％，100％]，当所述匹配度M＝100％时，表示所述每一个场景区域具有的类型向量与所述特定目标区域的类型向量之间完全匹配；
所述匹配确定模块确定所述某一图像帧当前的场景区域是否为所述特定目标区域具体为，
将所述预设匹配度阈值设为85％，若所述匹配度M大于或者等于85％，则确定所述某一图像帧当前的场景区域为所述特定目标区。
CN201911032762.9A 2019-10-28 2019-10-28 一种复杂场景视频中特定目标区域的侦测方法和装置 Active CN110866460B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911032762.9A CN110866460B (zh) 2019-10-28 2019-10-28 一种复杂场景视频中特定目标区域的侦测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911032762.9A CN110866460B (zh) 2019-10-28 2019-10-28 一种复杂场景视频中特定目标区域的侦测方法和装置

Publications (2)

Publication Number Publication Date
CN110866460A CN110866460A (zh) 2020-03-06
CN110866460B true CN110866460B (zh) 2020-11-27

Family

ID=69654815

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911032762.9A Active CN110866460B (zh) 2019-10-28 2019-10-28 一种复杂场景视频中特定目标区域的侦测方法和装置

Country Status (1)

Country Link
CN (1) CN110866460B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104537689A (zh) * 2014-12-25 2015-04-22 中国科学院自动化研究所 基于局部对比显著性联合特征的目标跟踪方法
CN105005989A (zh) * 2015-06-30 2015-10-28 长安大学 一种弱对比度下的车辆目标分割方法
CN105913456A (zh) * 2016-04-12 2016-08-31 西安电子科技大学 基于区域分割的视频显著性检测方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102663391B (zh) * 2012-02-27 2015-03-25 安科智慧城市技术（中国）有限公司 一种图像的多特征提取与融合方法及***
CN104966285B (zh) * 2015-06-03 2018-01-19 北京工业大学 一种显著性区域的检测方法
CN105741322B (zh) * 2016-02-01 2018-08-03 衢州学院 一种基于视频特征层融合的视场区域分割方法
CN106296744A (zh) * 2016-11-07 2017-01-04 湖南源信光电科技有限公司 一种结合自适应模型和多阴影属性的运动目标检测方法
CN109493367B (zh) * 2018-10-29 2020-10-30 浙江大华技术股份有限公司 一种对目标对象进行跟踪的方法和设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104537689A (zh) * 2014-12-25 2015-04-22 中国科学院自动化研究所 基于局部对比显著性联合特征的目标跟踪方法
CN105005989A (zh) * 2015-06-30 2015-10-28 长安大学 一种弱对比度下的车辆目标分割方法
CN105913456A (zh) * 2016-04-12 2016-08-31 西安电子科技大学 基于区域分割的视频显著性检测方法

Also Published As

Publication number Publication date
CN110866460A (zh) 2020-03-06

Similar Documents

Publication Publication Date Title
CN112836687B (zh) 视频行为分割方法、装置、计算机设备及介质
Lee et al. Towards a full-reference quality assessment for color images using directional statistics
US9268993B2 (en) Real-time face detection using combinations of local and global features
CN112037365B (zh) 面向行车记录仪基于边缘计算的车辆火灾事故检测报警***
CN107944359A (zh) 基于视频的火焰检测方法
US20150154457A1 (en) Object retrieval in video data using complementary detectors
Kalist et al. Possiblistic-fuzzy C-means clustering approach for the segmentation of satellite images in HSL color space
CN103310201B (zh) 目标混合颜色识别方法
US9418426B1 (en) Model-less background estimation for foreground detection in video sequences
Sanchez-Cuevas et al. A comparison of color models for color face segmentation
CN110796073B (zh) 一种无纹理场景视频中对特定目标区域的侦测方法和装置
CN108062554B (zh) 一种车辆年检标签颜色的识别方法及装置
CN112395972B (zh) 一种基于无人机图像处理的电力***绝缘子串识别方法
Ganesan et al. Value based semi automatic segmentation of satellite images using HSV color space, histogram equalization and modified FCM clustering algorithm
CN104145477A (zh) 调整颜色的方法及***
CN114359323A (zh) 一种基于视觉注意机制的图像目标区域检测方法
Ansari et al. Significance of color spaces and their selection for image processing: a survey
Zhengming et al. Skin detection in color images
CN110866460B (zh) 一种复杂场景视频中特定目标区域的侦测方法和装置
CN112579824A (zh) 视频数据分类方法、装置、电子设备及存储介质
Lee et al. Towards anovel perceptual color difference metric using circular processing of hue components
CN110826445B (zh) 一种无色彩场景视频中对特定目标区域的侦测方法和装置
CN111723614A (zh) 交通信号灯识别方法及装置
CN110910398B (zh) 一种基于决策层融合的视频复杂场景区域分割方法和装置
CN114463168A (zh) 数据脱敏处理的方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant