CN108833928A - 交通监控视频编码方法 - Google Patents

交通监控视频编码方法 Download PDF

Info

Publication number
CN108833928A
CN108833928A CN201810720989.1A CN201810720989A CN108833928A CN 108833928 A CN108833928 A CN 108833928A CN 201810720989 A CN201810720989 A CN 201810720989A CN 108833928 A CN108833928 A CN 108833928A
Authority
CN
China
Prior art keywords
vehicle
encoded
current
background
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810720989.1A
Other languages
English (en)
Other versions
CN108833928B (zh
Inventor
刘�东
马常月
吴枫
彭秀莲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN201810720989.1A priority Critical patent/CN108833928B/zh
Publication of CN108833928A publication Critical patent/CN108833928A/zh
Application granted granted Critical
Publication of CN108833928B publication Critical patent/CN108833928B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种交通监控视频编码方法，该方法基于车辆和背景数据库实现交通监控视频编码，在付出一定存储空间的代价后，可以有效去除交通监控视频在时间维度上存在的全局冗余，最终，总体的效果是在未明显增加编、解码端复杂度的情况下，有效的提升了交通监控视频的整体编码性能。

Description

交通监控视频编码方法
技术领域
本发明涉及视频编码技术领域，尤其涉及一种交通监控视频编码方法。
背景技术
近年来，随着智慧交通的迅速发展，监控视频的数据量出现出了***性的增长。为了有效的存储与传输监控视频数据，首先要解决的问题就是监控视频的编码问题。
当前，监控视频的压缩通常采用通用视频编码标准H.264/AVC或者H.265/HEVC。然而，考虑到监控视频具有的一些特性，如监控摄像头静止等，直接将通用视频编码技术用在监控视频的编码上，不能充分利用监控视频自有的特性。为了进一步提高监控视频编码的性能，许多研究者发明了一系列针对监控视频的编码技术。
一般来讲，监控视频中的内容可以大致分为背景内容和前景内容。相应的，针对监控视频的编码可以分别从优化背景编码和优化前景编码两个方面来设计。考虑到监控摄像头静止这个特点，优化背景编码通常先生成一个高质量背景帧，然后依靠质量传递来提高整体监控视频的编码效率。优化前景编码方面，研究者先后提出了一些基于模型和物体分割的前景编码技术。
有一些工作还提出了其他的监控视频编码技术，例如：
基于背景建模的自适应预测技术(Xianguo Zhang,Tiejun Huang,YonghongTian,andWenGao,“Background-modeling-based adaptive predictionfor surveillancevideo coding,”IEEE Transactions on ImageProcessing,vol.23,no.2,pp.769–784,2014.)
基于车辆3D模型数据库的全局车辆编码技术(Jing Xiao,Ruimin Hu,LiangLiao,Yu Chen,ZhongyuanWang,and ZixiangXiong,“Knowledge-based coding ofobjectsfor multisource surveillance video data,”IEEETransactions on Multimedia,vol.18,no.9,pp.1691–1706,2016.)
以上方法的缺点：
1、基于高质量背景帧的背景编码技术在生成高质量背景帧时会引起码流的激增，对网络传输造成不良影响，且编码性能也有待提高。
2、基于模型和物体分割的前景编码技术在对前景进行像素级别的精细分割方面本身存在困难，而且由于分割出的前景可能形状不规则，用于表示它的码率是十分巨大的。
3、基于背景建模的自适应预测技术在当前帧与参考帧上同时减去重建的背景帧，然后编码前景时直接以得到的当前帧前景像素在参考帧前景像素上做帧间预测。当前景像素的分割效果不佳时，对前景编码效率的提升容易造成不良影响。
4、基于车辆3D模型数据库的全局车辆编码技术由于未存储车辆的纹理信息，导致车辆的重建质量无法提高。除此之外，该技术所需的车辆3D模型、监控摄像头的内部参数与外部参数、道路上车辆的位置和姿态信息难以获得或估计，从而为该技术的实用化带来困难。
发明内容
本发明的目的是提供一种交通监控视频编码方法，可以提高交通监控视频的编码性能。
本发明的目的是通过以下技术方案实现的：
(与权利要求相对应)。
由上述本发明提供的技术方案可以看出，基于车辆和背景数据库实现交通监控视频编码，在付出一定存储空间的代价后，可以有效去除交通监控视频在时间维度上存在的全局冗余，最终，总体的效果是在未明显增加编、解码端复杂度的情况下，有效的提升了交通监控视频的整体编码性能。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1为本发明实施例提供的一种交通监控视频编码方法的流程图；
图2为本发明实施例提供的一种交通监控视频编码框架的原理图；
图3为本发明实施例提供的车辆区域背景SIFT特征去除流程图；
图4为本发明实施例提供的车辆和背景相似度分析流程图；
图5为本发明实施例提供的参考索引比特变化信息示意图；
图6为本发明实施例提供的测试序列截图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
本发明实施例提供一种交通监控视频编码方法，如图1所示，其主要包括如下步骤：
步骤1、采用前背景分割方法对原始交通监控视频序列进行处理，分离出车辆与背景，并分别去除分离出的车辆与背景之间存在的冗余后放入数据库。
步骤2、对于待编码的交通监控视频同样采用前背景分割方法，分离出待编码车辆与待编码背景；对于待编码车辆采用特征匹配与快速运动估计的方式从数据库中选出匹配车辆；对于待编码背景基于绝对差和从数据库中选出匹配背景。
步骤3、当采用帧间预测模式或者帧内预测模式时，使用预定方式判断待编码车辆或待编码背景是否需要在匹配车辆或匹配背景上进行率失真优化处理；根据判断结果进行相应处理，并使用相应的预测模式进行编码。
整个编码框架的原理图如图2所示，其中线下部分也即上述的步骤1，线上部分也即上述步骤2～步骤3。
为了便于理解，下面针对上述三个步骤做详细的介绍。
一、车辆和背景数据库建立。
本发明实施例中，对于原始交通监控视频序列，采用前背景分割方法(例如，SuBSENSE方法)分离出其中的车辆，背景从前景分离时产生的背景模型处提取，将属于视频序列前段的车辆和背景用于构建数据库。主要实现过程可以参照下述方式：
1、车辆数据库建立。
车辆数据库建立的较佳实施方式如下：
从原始交通监控视频序列前段分离出车辆并去除冗余后，将车辆从1到N进行编号；N为分离出的车辆数目。
初始时，数据库中车辆为空；对于某个去除冗余后的车辆vi，采用基于倒排表的方法从除车辆vi外所有其余车辆中检索出相似的车辆{vi1,vi2,…,vim}，其中m为相似车辆的数目。
为了确定m的大小，考虑车辆vi和vj匹配的SIFT特征数目，确定两个SIFT特征是否匹配的方式可以采用常规技术，也可以采用后文介绍车辆匹配时所提到的方式来实现。
检索相似车辆时，比较车辆vi和其余车辆中任一车辆vj匹配的SIFT特征数目，当车辆vi和车辆vj匹配的SIFT特征数目满足下式时，将车辆vj放入{vi1,vi2,…,vim}中：
Nij≥β×Ni；
Nij≥min(N0,Ni)；
上式中，Nij为车辆vi和车辆vj匹配的SIFT特征数目，Ni为车辆vi中的SIFT特征数目，β和N0为常数；示例性的，β和N0可以分别设置为0.1和4。通过上述方式处理后，可以得到车辆vi对应的相似的车辆{vi1,vi2,…,vim}。
之后，对车辆进行像素级别相似度的比较：对于车辆vi，如果数据库中的车辆为空，则将车辆vi放入数据库；否则，将车辆vi与{vi1,vi2,…,vim}中已经放入数据库的车辆进行像素级别相似度的比较，相似度比较时使用快速运动估计方式，损失函数使用绝对差和(Sum of Absolute Difference，SAD)。
此处提到的快速运动估计方式可以通过常规技术实现，也可以采用后文介绍车辆匹配时所采用的特定的快速运动估计方式。
如果计算得到的绝对差和平均值小于设定值(例如5)，则判定判断两辆车在像素级别是相似的。本领域技术人员可以理解，在进行相似度计算时，每一次的计算对象是车辆vi与{vi1,vi2,…,vim}中已经放入数据库的某一车辆，当进行绝对差和计算时，将车辆vi划分成一定尺寸的块，车辆vi上的某一个块在放入数据库中某一车辆的整个图像上做快速运动估计；如后文提到的16x16的块，对于每一个16x16的块都会得到一个SAD值；此处考虑的绝对差和平均值也即vi中所有16x16的块的绝对差和的平均值。
如果{vi1,vi2,…,vim}中已经放入数据库的车辆连续多辆(例如，10辆)没有与车辆vi在像素级别相似，将车辆vi放入数据库，反之，车辆vi不放入数据库。
如果将最终决定车辆vi放入数据库中，则将{vi1,vi2,…,vim}中已经放入数据库的车辆与车辆vi进行像素级别相似度的比较，如果存在与车辆vi在像素级别相似的车辆，则将已放入数据库中的相似的车辆剔除出数据库；如果累计超过多辆车辆与车辆vi在像素级别不相似，上述检查过程停止。
采用上述方式处理每一车辆，确定最终放入数据库中的车辆并进行编码后放入数据库。
2、背景数据库建立
对于去除冗余后的背景，每隔一段时间(例如，20s)取一帧背景并进行编码后放入数据库。
在实际应用中，监控摄像头安装完成后，编码器首先进行车辆和背景数据库的建立工作。对于车辆，编码器依据前述车辆数据库的建立步骤，将准备放入数据库中的车辆进行高质量编码，并将编码后的车辆放入数据库。同时用于标识这些车辆的信息也被编入码流，解码端解出重建图像后，依据解出的车辆标识信息进行相同的车辆数据库建立过程；对于背景，编码器依据前述背景数据库的建立步骤，每隔一段时间对生成的背景帧进行高质量编码，并将编码后的背景放入数据库。同时高质量编码的背景以及用于标识这些背景的信息也被编入码流，解码器按照上述信息解出高质量的背景帧后，将其放入数据库中。这样，在编解码端可以建立相同的车辆和背景数据库。
本发明实施例中，可以将原始交通监控视频序列进行划分，前一部分数据用来建立车辆和背景数据库；后一部分作为待编码的交通监控视频。当然，也可以将第一天的交通监控视频来建立车辆和背景数据库，从第二天开始的数据作为待编码的交通监控视频。编解码器按照本发明所述的方法进行交通监控视频的编解码工作。一般的交通监控视频通常要保存几个月的期限，当将保存的数据清空后，重复上述的工作。
二、车辆和背景检索
1、车辆检索。
1)车辆与背景的分离及去冗余操作。
本发明实施例中，对于待编码的交通监控视频同样需要进行车辆与背景的分离，以及去冗余操作；这部分操作过程与车辆和背景数据库建立时的操作类似。这一操作过程较佳实施方式如下：
采用SuBSENSE方法分离出监控视频序列(原始交通监控视频序列或者待编码的交通监控视频)中的车辆后，由于车辆的形状可能不规则，将分离出的车辆的左上角至右下角的方形区域中的像素作为车辆，剩余部分作为背景。提取车辆的SIFT特征，将其中的背景SIFT特征去除，背景SIFT特征去除的流程见图3。
采用SuBSENSE方法分离车辆的同时，会逐步生成比较干净的背景帧。从监控视频序列上提取车辆的同时，将背景帧上对应位置的背景提取出来。
以待编码的交通监控视频为例，对于分离出的当前待编码车辆与对应的背景，分别提取二者的SIFT特征，对于从当前待编码车辆上提取的每一SIFT特征，采用下式在对应背景上一定的位置邻域范围内进行检索：
(xsc-xsb)2+(ysc-ysb)2≤d2；
其中，xsc和ysc表示从当前待编码车辆上提取的SIFT特征的坐标，xsb和ysb表示从对应背景上提取的SIFT特征的坐标；d为位置邻域的界定范围；示例性的，可以设置d＝5。
如果检索到的归一化后欧氏距离最小的SIFT特征与当前待编码车辆的某一SIFT特征的距离小于一定的阈值：Dmin≤D1；其中，Dmin为归一化后欧氏距离最小的SIFT特征与当前待编码车辆的某一SIFT特征之间的归一化后的欧氏距离，D1为阈值，示例性的可以设置D1＝1.1；则说明背景区域中存在与当前待编码车辆的SIFT特征相像的SIFT特征，当前待编码车辆的相应SIFT特征为背景SIFT特征，将其从车辆SIFT中去除。
2)采用特征匹配进行粗检索。
本发明实施例中，提取车辆(包含数据库中车辆及待编码车辆)的SIFT特征，数据库中的车辆基于SIFT特征建立倒排表索引，对于待编码车辆，基于SIFT特征匹配从数据库中粗略的检索出若干候选车辆。这一过程较佳实施方式如下：
采用特征匹配的方式从数据库中粗略的选出若干候选车辆：将数据库中每一车辆的SIFT特征采用k-means算法量化成视觉文字，对于每一视觉文字，计算对应的映射均值向量；再将数据库中每一车辆的每一SIFT特征映射到最近邻的视觉文字，比较映射的SIFT特征向量与最近邻视觉文字对应的映射均值向量，得到每一SIFT特征向量的二值化表征；同时，将数据库中的每一车辆用其SIFT特征对应的视觉文字的频率直方图表示，采用倒排表的方式组织数据库中每一车辆的频率直方图。
对于当前待编码车辆，同样按照上述处理数据库中车辆的方法，将其每一SIFT特征分配到最近邻的视觉文字，得到当前待编码车辆的频率直方图，同时计算每一SIFT特征的二值化表征。
在比较当前待编码车辆与数据库中某个车辆的相似度时，在映射到同一视觉文字的SIFT特征的二值化表征的汉明距离小于一定阈值的条件下，以tf-idf(term frequency-inverse document frequency，项频率-反文档频率)项加权的频率直方图的距离作为相似度的评价指标，得到当前待编码车辆与数据库中每一车辆的相似度的比较结果；依照计算的相似度的比较结果进行排序，选出相似度排名靠前的若干车辆作为候选车辆。
示例性的，在具体的实现中，可以检索出10个候选车辆。
3)使用快速运动估计的方式进行车辆精选。
本发明实施例中，使用快速运动估计的方式从若干候选车辆中精选出一个匹配车辆；这一过程较佳实施方式如下：
a、将当前待编码车辆与每一候选车辆进行对齐。
对齐的较佳实施方式如下：
对于当前待编码车辆的某个SIFT特征，计算其与每一候选车辆的所有SIFT特征的距离，将计算得到的距离按从小到大的方式排序后，如果满足下式，则判定当前待编码车辆的相应SIFT特征在相应候选车辆中找到了匹配SIFT特征：
d1≤D2；
d1/d2≤α；
其中，d1和d2分别为最小和第二小距离，D2和α为常数；
按照上述方式计算当前待编码车辆的每一SIFT特征，得到当前待编码车辆与每一候选车辆的SIFT匹配对；依照得到的SIFT特征匹配对的结果，计算当前待编码车辆与每一候选车辆的位置偏移，如下式所示：
其中，MVx和MVy为偏移的水平分量和竖直分量，n为匹配的SIFT特征对的数目，xci和yci为当前待编码车辆的SIFT特征的坐标，xvi和yvi为候选车辆的SIFT特征的坐标；i为SIFT特征匹配对的序号；
再采用迭代的方式去除异常点，得到最终的位置偏移结果；依照计算得到的位置偏移结果，将当前待编码车辆与相应候选车辆进行对齐。
异常点可以通过如下方式来确定：如果由某对SIFT匹配对计算得到的运动向量偏离均值运动向量较远(即超过设定值)，则该SIFT特征匹配对为异常点。
b、再将当前待编码车辆划分成固定大小为16x16的块，每一16x16的块在某一候选车辆中搜索损失函数最小的块，其中损失函数由绝对差和及运动矢量的编码码率组成；搜索的方式为以当前16x16的块的位置为起始点，在该起始点周围上下左右64像素范围内进行八点钻石型搜索，将所有16x16的块的损失函数累加作为整个当前待编码车辆在某一候选车辆上的整体损失函数；最终保留整体损失函数最小的候选车辆作为匹配车辆。
2、背景检索。
本发明实施例中，对于待编码背景基于绝对差和从数据库中选出匹配背景，这一过程较佳实施方式如下：
以当前待编码背景与数据库中背景对应位置像素的绝对差和作为相似度评价准则，计算当前待编码背景与数据库中每个背景的绝对差和，如下式所示：
SAD＝∑k∈B|pck-plk|；
其中，pck与plk分别为当前待编码背景与数据库中背景第k个像素的值，B为当前待编码背景像素的集合；
将计算结果从小到大排序，以绝对差和最小的背景作为当前待编码背景的匹配背景。
三、编码。
1、相似度分析。
本发明实施例中，确定当前待编码车辆和背景的匹配车辆和背景后，确定当前车辆和背景是否在匹配车辆和背景上做率失真优化(RDO)。当前车辆和背景采取帧间预测方式时，将匹配车辆和背景与当前车辆和背景的已有参考帧信息作RDO比较；当前车辆和背景采取帧内预测方式时，将候选车辆和背景与当前车辆和背景粗略的帧内预测方式作RDO比较。车辆和背景相似度分析的具体流程见图4。下面将分别详细介绍帧间、帧内预测方式下RDO的比较。
1)帧间预测模式下RDO的比较。
帧间预测模式下率失真优化的比较准则为：
其中，J为拉格朗日损失函数，D为预测块与匹配块的绝对差和，R为用于表示模式信息的比特数，λ为拉格朗日乘子；
为了将匹配车辆与背景和现有的参考帧作比较，先计算得到当前待编码车辆和背景与现有参考帧的拉格朗日损失函数，再计算考虑检索得到的匹配车辆和背景后，得到更新的拉格朗日损失函数，比较更新前后的拉格朗日损失函数，确定是否在匹配的车辆和背景上做RDO。这一过程较佳实施方式如下：
a、计算当前待编码车辆和当前待编码背景与现有参考帧的拉格朗日损失函数：
对于当前待编码车辆的每一个现有参考帧，首先估计出当前车辆在现有参考帧上的位移，然后得到当前车辆在现有参考帧上的最优RDO结果，最后将其与当前车辆在候选匹配车辆上的最优RDO结果作比较，确定是否要在候选匹配车辆上做RDO，相关过程如下：
以4×4的块为单位，得到当前待编码车辆对应位置上采用帧间预测4×4的块的运动矢量(Motion Vector,MV)和及其参考帧的图像编号(POC)信息，以此为基础，估计当前待编码车辆上对应4×4的块的运动矢量信息，估计的公式如下：
其中，MVXref和MVYref分别为现有参考帧上帧间预测4×4的块运动矢量的水平分量和竖直分量；POCcur、POCref和POCcolref分别为当前待编码车辆所在的帧的POC、现有参考帧的POC和现有参考帧上帧间预测4×4的块参考帧的POC；MVXcur和MVYcur分别为估计得到的当前待编码车辆对应4×4的块运动矢量的水平分量和竖直分量；遍历当前待编码车辆中的每一个4x4小的块，记录帧间预测4×4的块的数目及其对应的当前待编码车辆4×4的块的运动矢量，最终估计的当前待编码车辆运动矢量的水平分量与竖直分量为所有帧间预测4x4小的块运动矢量的平均值；
从而得到当前待编码车辆在每个现有参考帧上的位移，之后，将当前待编码车辆划分成固定大小为16x16的块，每一16x16的块在所有现有参考帧中依次搜索损失函数最小的块，其中损失函数由绝对差和及运动矢量的编码码率组成；搜索的方式为以当前16x16的块按估计得到的位移平移后的位置为起始点，在该起始点周围上下左右64像素范围内进行八点钻石型搜索；以16x16的块为单位，记录当前待编码车辆中所有块与所有现有参考帧中匹配块的最小损失函数；依次遍历当前待编码车辆中每个16x16的块，累加其记录得最小损失函数和，得到当前待编码车辆相对于现有参考帧的拉格朗日损失函数
对于当前待编码背景，将其划分成16x16的块；对于当前16x16的块，从所有现有参考帧中搜索最小损失函数对应的匹配块；搜索的方式为比较所有参考帧对应位置的16x16的块与当前待编码背景内当前16x16的块的绝对差和，选出最小的绝对差和作为当前待编码背景内当前16x16的块的损失函数；遍历当前待编码背景中所有16x16的块，累加所有16x16的块的损失函数，作为当前待编码背景的拉格朗日损失函数
b、将匹配车辆和背景考虑进来，计算更新后的拉格朗日损失函数：
对于当前待编码车辆内的每个16x16的块，在拉格朗日损失函数计算结果的基础上，采用快速运动估计的方法，计算其与匹配车辆的损失函数；再将每一16x16的块与匹配车辆的损失函数，与计算拉格朗日损失函数时得到的与现有参考帧的最小损失函数比较，取较小者为相应16x16的块的最小损失函数；遍历当前待编码车辆内的每个16x16的块，累加每个16x16的块的最小损失函数，得到当前待编码车辆的拉格朗日损失函数同时，对于当前待编码车辆，引起比特数的变化包含了匹配车辆在数据库中的位置索引信息、匹配车辆在参考帧中的位置信息、参考索引(参考帧的索引)比特变化信息和CTU级别的表示信息，将这些比特数变化与拉格朗日损失函数组合起来，得到更新后的拉格朗日损失函数
对于当前待编码背景内的每个16x16的块，在拉格朗日损失函数计算结果的基础上，计算与匹配背景的损失函数；再将每一16x16的块与匹配背景的损失函数，与计算拉格朗日损失函数时得到的与现有参考帧的最小损失函数比较，取较小者为相应16x16的块的最小损失函数；遍历当前待编码背景内的每个16x16的块，累加每个16x16的块的最小损失函数，得到当前待编码背景的损失函数同时，对于当前待编码背景，引起比特数的变化包含了匹配背景在数据库中的位置索引信息及参考索引比特变化信息，将这些比特数变化与拉格朗日损失函数组合起来，得到更新后的拉格朗日损失函数
以参考索引比特变化信息的比特数计算方式为例进行介绍：
如图5所示，对于当前待编码车辆和背景中的每个16x16的块，在计算其与现有的参考帧和匹配车辆与背景的最小损失函数时，如果其最小损失函数对应的匹配块索引是n-1，则比特数加1，其中，n为现有的参考帧数目；否则，如果其最小损失函数对应的匹配块在匹配的车辆或背景上，则比特数增加n-1-idx，其中，idx为在不考虑匹配的车辆和背景时，该16x16的块最小损失函数对应的匹配块索引。除此之外，比特数不变。遍历当前待编码车辆和背景内的每个16x16的块，最终的参考索引比特变化信息的比特数位每个16x16的块变化比特数的求和。将比特数变化和前面计算得到的拉格朗日损失函数组合起来，得到更新后的对应于当前待编码车辆和背景的拉格朗日损失函数。
最后，比较拉格朗日损失函数与更新后的拉格朗日损失函数之间的大小，若则在匹配车辆上进行率失真优化处理；比较拉格朗日损失函数与更新后的拉格朗日损失函数之间的大小，若则在匹配背景上进行率失真优化处理。
2、帧内预测模式下RDO的比较。
帧内预测模式下率失真优化的比较准则与帧间预测模式类似，也表示为：
其中，J为拉格朗日损失函数，D为预测块与匹配块的绝对差和，R为用于表示模式信息的比特数，λ为拉格朗日乘子。
a、对于当前待编码背景，在帧内预测模式下，始终在匹配背景上进行率失真优化处理。
b、对于当前待编码车辆，首先，粗略估计出当前待编码车辆采用帧内预测时的损失函数：将当前待编码车辆划分成固定大小为16x16的块，对于每个16x16的块，依次进行均值模式(DC)、平滑模式(planar)、水平和垂直帧内预测模式的估计，得到每个16x16的块对应于每种模式的绝对差和；帧内预测模式估计时，当前16x16的块的参考像素值由邻近16x16的块的原始值推出；对于每个16x16的块，将其在所有模式下估计得到的绝对差和按照从小到大的顺序排序，以绝对差和最小的结果作为当前16x16的块的最优匹配结果；遍历当前待编码车辆中所有16x16的块，累加每个16x16的块的最优匹配结果，得到当前待编码车辆的拉格朗日损失函数
将匹配车辆考虑进来，计算更新后的拉格朗日损失函数：对于当前待编码车辆内的每个16x16的块，在拉格朗日损失函数计算结果的基础上，采用快速运动估计的方法，计算与匹配车辆的损失函数(绝对差和)；再将每一16x16的块与匹配车辆的损失函数，与计算拉格朗日损失函数时得到的其帧内预测估计出的最小绝对差和比较，取较小者为相应16x16的块的最小损失函数；遍历当前待编码车辆内的每个16x16的块，累加每个16x16的块的最小损失函数，得到当前待编码车辆的损失函数同时，对于当前待编码车辆，引起比特数的变化包含了匹配车辆在数据库中的位置索引信息、匹配车辆在参考帧中的位置信息和CTU级别的表示信息，将这些比特数变化与拉格朗日损失函数组合起来，得到更新后的拉格朗日损失函数
比较拉格朗日损失函数与更新后的拉格朗日损失函数之间的大小，若则在匹配车辆上进行率失真优化处理。
2、车辆与背景的编码。
1)当采用帧间预测模式时，如果判定需要在匹配车辆或匹配背景上进行率失真优化处理，则新申请一个参考帧的空间，将匹配车辆或匹配背景贴于新申请的参考帧上与现有的参考帧一起供当前待编码车辆或待编码背景做帧间预测；帧间预测结束后，遍历当前待编码车辆或当前待编码背景覆盖的每个4x4的块，如果某个4x4的块参考了当前待编码车辆或当前待编码背景的信息，则将相应的语法元素编入码流；
2)当采用帧内预测模式时，如果判定需要在匹配车辆或匹配背景上进行率失真优化处理，则新申请一个参考帧的空间，将匹配车辆或匹配背景贴于新申请的参考帧上供当前待编码车辆或待编码背景做帧内预测。
上述两部分中，将匹配车辆贴于新申请的参考帧的位置由下式确定：
x0＝xc+MVx；
y0＝yc+MVy；
其中，x0和y0表示匹配车辆贴到新申请的参考帧上的位置，xc和yc表示当前待编码车辆在当前帧的位置，MVx和MVy为当前待编码车辆相对于匹配车辆偏移的水平分量和竖直分量(通过前述快速运动估计获得)；
将匹配背景贴在参考帧上时，与参考帧位置对齐即可。
3、编码码流结构
本发明实施例中，编码码流的结构分为片(slice)和树形编码单元(CTU)两层；其中：
slice层：对于当前待编码车辆，slice层包含一个表示当前slice层中是否有匹配车辆被参考的标记(flag)；遍历当前slice层中所有车辆覆盖的4x4的块，判断其是否参考了匹配车辆，如果存在某个4x4的块参考了匹配车辆，则标记为真，否则标记为假；如果标记为真，则slice层还要包含表示当前slice层中被参考匹配车辆数目的语法元素；对于每个匹配车辆，其在数据库中的位置索引、其贴在新申请的参考帧上的位置一并编入码流，被参考的匹配车辆数目、每个匹配车辆的索引、以及每个匹配车辆贴在新申请的参考帧上的位置采用定长编码方式进行编码；
对于当前待编码背景，slice层包含一个表示当前slice层中是否有匹配背景被参考的标记；遍历当前slice层中所有背景覆盖的4x4的块，判断其是否参考了匹配背景，如果存在某个4x4的块参考了匹配背景，则标记为真，否则标记为假；如果标记为真，则slice层还要包含被参考的匹配背景在数据库中的位置索引语法元素，该语法元素采用定长编码方式进行编码；
CTU层：对于当前待编码车辆，CTU层包含一个表示当前CTU层是否参考了匹配车辆像素的标记；遍历当前CTU层中每个4x4的块，如果存在某个4x4的块参考了匹配车辆像素，则标记为真，否则标记为假；当标记为真时，CTU层还要包含一个表示匹配车辆索引(index)的语法元素；
对于当前待编码背景，CTU层包含一个表示当前CTU层是否参考了匹配背景像素的标记。
另一方面，为了说明本发明上述方案的编码性能还进行了相关测试。
测试条件包括：1)帧间配置：随机接入即Random Access，RA；低延时B即Low-delayB，LDB；低延时P即Low-delay P，LDP。2)基本量化步长(QP)设置为{27,32,37,42}，基于的软件是HM16.7，测试序列为自己拍摄的14段测试序列，截图如图6所示。实验结果见表1与表2。
其中表1为RA、LDB、LDP设置下的性能对比结果，表2为RA、LDB、LDP设置下的编解码端复杂度对比结果。
表1RA、LDB、LDP设置下的性能对比结果
表2RA、LDB、LDP设置下的编解码端复杂度对比结果
从表1～表2中可以看出，本发明实施例上述方案相对于HM16.7在RA、LDB和LDP模式下可分别获得35.1％、31.3％和28.8.0％的码率节省，并且编解码端的复杂度的增加在合理范围内。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (10)

1.一种交通监控视频编码方法，其特征在于，包括：
采用前背景分割方法对原始交通监控视频序列进行处理，分离出车辆与背景，并分别去除分离出的车辆与背景之间存在的冗余后放入数据库；
对于待编码的交通监控视频同样采用前背景分割方法，分离出待编码车辆与待编码背景；对于待编码车辆采用特征匹配与快速运动估计的方式从数据库中选出匹配车辆；对于待编码背景基于绝对差和从数据库中选出匹配背景；
当采用帧间预测模式或者帧内预测模式时，使用预定方式判断待编码车辆或待编码背景是否需要在匹配车辆或匹配背景上进行率失真优化处理；根据判断结果进行相应处理，并使用相应的预测模式进行编码。
2.根据权利要求1所述的一种交通监控视频编码方法，其特征在于，所述采用前背景分割方法对原始交通监控视频序列进行处理，分离出车辆与背景，并分别去除分离出的车辆与背景之间存在的冗余后放入数据库包括：
对于去除冗余后的车辆，从1到N进行编号；
初始时，数据库中车辆为空；对于某个去除冗余后的车辆vi，采用基于倒排表的方法从除车辆vi外所有其余车辆中检索出相似的车辆{vi1,vi2,…,vim}，其中m为相似车辆的数目；
检索相似车辆时，比较车辆vi和其余车辆中任一车辆vj匹配的SIFT特征数目，当车辆vi和车辆vj匹配的SIFT特征数目满足下式时，将车辆vj放入{vi1,vi2,…,vim}中：
Nij≥β×Ni；
Nij≥min(N0,Ni)；
上式中，Nij为车辆vi和车辆vj匹配的SIFT特征数目，Ni为车辆vi中的SIFT特征数目，β和N0为常数；
之后，对车辆进行像素级别相似度的比较：对于车辆vi，如果数据库中的车辆为空，则将车辆vi放入数据库；否则，将车辆vi与{vi1,vi2,…,vim}中已经放入数据库的车辆进行像素级别相似度的比较，相似度比较时使用快速运动估计方式，损失函数使用绝对差和，如果计算得到的绝对差和平均值小于设定值，则判定判断两辆车在像素级别是相似的；如果{vi1,vi2,…,vim}中已经放入数据库的车辆连续多辆没有与车辆vi在像素级别相似，将车辆vi放入数据库，反之，车辆vi不放入数据库；如果将最终决定车辆vi放入数据库中，则将{vi1,vi2,…,vim}中已经放入数据库的车辆与车辆vi进行像素级别相似度的比较，如果存在与车辆vi在像素级别相似的车辆，则将已放入数据库中的相似的车辆剔除出数据库；如果累计超过多辆车辆与车辆vi在像素级别不相似，上述检查过程停止；
采用上述方式处理每一车辆，确定最终放入数据库中的车辆并进行编码后放入数据库；
对于去除冗余后的背景，每隔一段时间取一帧背景并进行编码后放入数据库。
3.根据权利要求1或2所述的一种交通监控视频编码方法，其特征在于，采用前背景分割方法分离车辆与背景时，将分离出的车辆的左上角至右下角的方形区域中的像素作为车辆，剩余部分作为背景；
对于分离出的当前待编码车辆与对应的背景，分别提取二者的SIFT特征，对于从当前待编码车辆上提取的每一SIFT特征，采用下式在对应背景上一定的位置邻域范围内进行检索：
(xsc-xsb)2+(ysc-ysb)2≤d2；
其中，xsc和ysc表示从当前待编码车辆上提取的SIFT特征的坐标，xsb和ysb表示从对应背景上提取的SIFT特征的坐标，d为位置邻域的界定范围；
如果检索到的归一化后欧氏距离最小的SIFT特征与当前待编码车辆的某一SIFT特征的距离小于一定的阈值，则说明背景区域中存在与当前待编码车辆的SIFT特征相像的SIFT特征，当前待编码车辆的相应SIFT特征为背景SIFT特征，将其从车辆SIFT中去除。
4.根据权利要求1所述的一种交通监控视频编码方法，其特征在于，对于待编码车辆采用特征匹配与快速运动估计的方式从数据库中选出匹配车辆包括：
首先，采用特征匹配的方式从数据库中粗略的选出若干候选车辆：将数据库中每一车辆的SIFT特征采用k-means算法量化成视觉文字，对于每一视觉文字，计算对应的映射均值向量；再将数据库中每一车辆的每一SIFT特征映射到最近邻的视觉文字，比较映射的SIFT特征向量与最近邻视觉文字对应的映射均值向量，得到每一SIFT特征向量的二值化表征；同时，将数据库中的每一车辆用其SIFT特征对应的视觉文字的频率直方图表示，采用倒排表的方式组织数据库中每一车辆的频率直方图；对于当前待编码车辆，同样按照上述处理数据库中车辆的方法，将其每一SIFT特征分配到最近邻的视觉文字，得到当前待编码车辆的频率直方图，同时计算每一SIFT特征的二值化表征；在比较当前待编码车辆与数据库中某个车辆的相似度时，在映射到同一视觉文字的SIFT特征的二值化表征的汉明距离小于一定阈值的条件下，以tf-idf项加权的频率直方图的距离作为相似度的评价指标，得到当前待编码车辆与数据库中每一车辆的相似度的比较结果；依照计算的相似度的比较结果进行排序，选出相似度排名靠前的若干车辆作为候选车辆；
然后，使用快速运动估计的方式从若干候选车辆中精选出一个匹配车辆：先将当前待编码车辆与每一候选车辆进行对齐，再将当前待编码车辆划分成固定大小为16x16的块，每一16x16的块在某一候选车辆中搜索损失函数最小的块，其中损失函数由绝对差和及运动矢量的编码码率组成；搜索的方式为以当前16x16的块的位置为起始点，在该起始点周围上下左右64像素范围内进行八点钻石型搜索，将所有16x16的块的损失函数累加作为整个当前待编码车辆在某一候选车辆上的整体损失函数；最终保留整体损失函数最小的候选车辆作为匹配车辆。
5.根据权利要求4所述的一种交通监控视频编码方法，其特征在于，将当前待编码车辆与每一候选车辆进行对齐的方式如下：
对于当前待编码车辆的某个SIFT特征，计算其与每一候选车辆的所有SIFT特征的距离，将计算得到的距离按从小到大的方式排序后，如果满足下式，则判定当前待编码车辆的相应SIFT特征在相应候选车辆中找到了匹配SIFT特征：
d1≤D2；
d1/d2≤α；
其中，d1和d2分别为最小和第二小距离，D2和α为常数；
按照上述方式计算当前待编码车辆的每一SIFT特征，得到当前待编码车辆与每一候选车辆的SIFT匹配对；依照得到的SIFT特征匹配对的结果，计算当前待编码车辆与每一候选车辆的位置偏移，如下式所示：
其中，MVx和MVy为偏移的水平分量和竖直分量，n为匹配的SIFT特征对的数目，xci和yci为当前待编码车辆的SIFT特征的坐标，xvi和yvi为候选车辆的SIFT特征的坐标；i为SIFT特征匹配对的序号；
再采用迭代的方式去除异常点，得到最终的位置偏移结果；依照计算得到的位置偏移结果，将当前待编码车辆与相应候选车辆进行对齐。
6.根据权利要求1所述的一种交通监控视频编码方法，其特征在于，对于待编码背景基于绝对差和从数据库中选出匹配背景包括：
以当前待编码背景与数据库中背景对应位置像素的绝对差和作为相似度评价准则，计算当前待编码背景与数据库中每个背景的绝对差和，如下式所示：
SAD＝∑k∈B|pck-plk|；
其中，pck与plk分别为当前待编码背景与数据库中背景第k个像素的值，B为当前待编码背景像素的集合；
将计算结果从小到大排序，以绝对差和最小的背景作为当前待编码背景的匹配背景。
7.根据权利要求1所述的一种交通监控视频编码方法，其特征在于，当采用帧间预测模式时，使用预定方式判断待编码车辆或待编码背景是否需要在匹配车辆或匹配背景上进行率失真优化处理包括：
帧间预测模式下率失真优化的比较准则为：
其中，J为拉格朗日损失函数，D为预测块与匹配块的绝对差和，R为用于表示模式信息的比特数，λ为拉格朗日乘子；
首先，计算当前待编码车辆和当前待编码背景与现有参考帧的拉格朗日损失函数：
对于当前待编码车辆的每一个现有参考帧，以4×4的块为单位，得到当前待编码车辆对应位置上采用帧间预测4×4的块的运动矢量和及其参考帧的图像编号信息，以此为基础，估计当前待编码车辆上对应4×4的块的运动矢量信息，估计的公式如下：
其中，MVXref和MVYref分别为现有参考帧上帧间预测4×4的块运动矢量的水平分量和竖直分量；POCcur、POCref和POCcolref分别为当前待编码车辆所在的帧的图像编号、现有参考帧的图像编号和现有参考帧上帧间预测4×4的块参考帧的图像编号；MVXcur和MVYcur分别为估计得到的当前待编码车辆对应4×4的块运动矢量的水平分量和竖直分量；遍历当前待编码车辆中的每一个4x4小的块，记录帧间预测4×4的块的数目及其对应的当前待编码车辆4×4的块的运动矢量，最终估计的当前待编码车辆运动矢量的水平分量与竖直分量为所有帧间预测4x4小的块运动矢量的平均值；
从而得到当前待编码车辆在每个现有参考帧上的位移，之后，将当前待编码车辆划分成固定大小为16x16的块，每一16x16的块在所有现有参考帧中依次搜索损失函数最小的块，其中损失函数由绝对差和及运动矢量的编码码率组成；搜索的方式为以当前16x16的块按估计得到的位移平移后的位置为起始点，在该起始点周围上下左右64像素范围内进行八点钻石型搜索；以16x16的块为单位，记录当前待编码车辆中所有块与其在从所有现有参考帧中匹配块的最小损失函数；依次遍历当前待编码车辆中每个16x16的块，累加其记录得最小损失函数和，得到当前待编码车辆相对于现有参考帧的拉格朗日损失函数
对于当前待编码背景，将其划分成16x16的块；对于当前16x16的块，从所有现有参考帧中搜索最小损失函数对应的匹配块；搜索的方式为比较所有参考帧对应位置的16x16的块与当前待编码背景内当前16x16的块的绝对差和，选出最小的绝对差和作为当前待编码背景内当前16x16的块的损失函数；遍历当前待编码背景中所有16x16的块，累加所有16x16的块的损失函数，作为当前待编码背景的拉格朗日损失函数
然后，将匹配车辆和背景考虑进来，计算更新后的拉格朗日损失函数：
对于当前待编码车辆内的每个16x16的块，在拉格朗日损失函数计算结果的基础上，采用快速运动估计的方法，计算其与匹配车辆的损失函数；再将每一16x16的块与匹配车辆的损失函数，与计算拉格朗日损失函数时得到的与现有参考帧的最小损失函数比较，取较小者为相应16x16的块的最小损失函数；遍历当前待编码车辆内的每个16x16的块，累加每个16x16的块的最小损失函数，得到当前待编码车辆的拉格朗日损失函数同时，对于当前待编码车辆，引起比特数的变化包含了匹配车辆在数据库中的位置索引信息、匹配车辆在参考帧中的位置信息、参考索引比特变化信息和CTU级别的表示信息，将这些比特数变化与拉格朗日损失函数组合起来，得到更新后的拉格朗日损失函数
对于当前待编码背景内的每个16x16的块，在拉格朗日损失函数计算结果的基础上，计算与匹配背景的损失函数；再将每一16x16的块与匹配背景的损失函数，与计算拉格朗日损失函数时得到的与现有参考帧的最小损失函数比较，取较小者为相应16x16的块的最小损失函数；遍历当前待编码背景内的每个16x16的块，累加每个16x16的块的最小损失函数，得到当前待编码背景的损失函数同时，对于当前待编码背景，引起比特数的变化包含了匹配背景在数据库中的位置索引信息及参考索引比特变化信息，将这些比特数变化与拉格朗日损失函数组合起来，得到更新后的拉格朗日损失函数
最后，比较拉格朗日损失函数与更新后的拉格朗日损失函数之间的大小，若则在匹配车辆上进行率失真优化处理；比较拉格朗日损失函数与更新后的拉格朗日损失函数之间的大小，若则在匹配背景上进行率失真优化处理。
8.根据权利要求1所述的一种交通监控视频编码方法，其特征在于，当采用帧内预测模式时，使用预定方式判断待编码车辆或待编码背景是否需要在匹配车辆或匹配背景上进行率失真优化处理包括：
帧内预测模式下率失真优化的比较准则为：
其中，J为拉格朗日损失函数，D为预测块与匹配块的绝对差和，R为用于表示模式信息的比特数，λ为拉格朗日乘子；
对于当前待编码背景，在帧内预测模式下，始终在匹配背景上进行率失真优化处理；
对于当前待编码车辆，首先，粗略估计出当前待编码车辆采用帧内预测时的损失函数：将当前待编码车辆划分成固定大小为16x16的块，对于每个16x16的块，依次进行DC、planar、水平和垂直帧内预测模式的估计，得到每个16x16的块对应于每种模式的绝对差和；帧内预测模式估计时，当前16x16的块的参考像素值由邻近16x16的块的原始值推出；对于每个16x16的块，将其在所有模式下估计得到的绝对差和按照从小到大的顺序排序，以绝对差和最小的结果作为当前16x16的块的最优匹配结果；遍历当前待编码车辆中所有16x16的块，累加每个16x16的块的最优匹配结果，得到当前待编码车辆的拉格朗日损失函数
然后，将匹配车辆考虑进来，计算更新后的拉格朗日损失函数：对于当前待编码车辆内的每个16x16的块，在拉格朗日损失函数计算结果的基础上，采用快速运动估计的方法，计算与匹配车辆的损失函数；再将每一16x16的块与匹配车辆的损失函数，与计算拉格朗日损失函数时得到的其帧内预测估计出的最小绝对差和比较，取较小者为相应16x16的块的最小损失函数；遍历当前待编码车辆内的每个16x16的块，累加每个16x16的块的最小损失函数，得到当前待编码车辆的损失函数同时，对于当前待编码车辆，引起比特数的变化包含了匹配车辆在数据库中的位置索引信息、匹配车辆在参考帧中的位置信息和CTU级别的表示信息，将这些比特数变化与拉格朗日损失函数组合起来，得到更新后的拉格朗日损失函数
最后，比较拉格朗日损失函数与更新后的拉格朗日损失函数之间的大小，若则在匹配车辆上进行率失真优化处理。
9.根据权利要求1或7或8所述的一种交通监控视频编码方法，其特征在于，所述根据判断结果进行相应处理，并使用相应的预测模式进行编码，同时将编码时参考到的匹配车辆或匹配背景的信息一同编入码流
当采用帧间预测模式时，如果判定需要在匹配车辆或匹配背景上进行率失真优化处理，则新申请一个参考帧的空间，将匹配车辆或匹配背景贴于新申请的参考帧上与现有的参考帧一起供当前待编码车辆或待编码背景做帧间预测；帧间预测结束后，遍历当前待编码车辆或当前待编码背景覆盖的每个4x4的块，如果某个4x4的块参考了当前待编码车辆或当前待编码背景的信息，则将相应的语法元素编入码流；
当采用帧内预测模式时，如果判定需要在匹配车辆或匹配背景上进行率失真优化处理，则新申请一个参考帧的空间，将匹配车辆或匹配背景贴于新申请的参考帧上供当前待编码车辆或待编码背景做帧内预测；
将匹配车辆贴于新申请的参考帧的位置由下式确定：
x0＝xc+MVx；
y0＝yc+MVy；
其中，x0和y0表示匹配车辆贴到新申请的参考帧上的位置，xc和yc表示当前待编码车辆在当前帧的位置，MVx和MVy为当前待编码车辆相对于匹配车辆偏移的水平分量和竖直分量；
将匹配背景贴在参考帧上时，与参考帧位置对齐即可。
10.根据权利要求9所述的一种交通监控视频编码方法，其特征在于，编码码流的结构分为片slice和树形编码单元CTU两层；其中：
slice层：对于当前待编码车辆，slice层包含一个表示当前slice层中是否有匹配车辆被参考的标记；遍历当前slice层中所有车辆覆盖的4x4的块，判断其是否参考了匹配车辆，如果存在某个4x4的块参考了匹配车辆，则标记为真，否则标记为假；如果标记为真，则slice层还要包含表示当前slice层中被参考匹配车辆数目的语法元素；对于每个匹配车辆，其在数据库中的位置索引、其贴在新申请的参考帧上的位置一并编入码流，被参考的匹配车辆数目、每个匹配车辆的索引、以及每个匹配车辆贴在新申请的参考帧上的位置采用定长编码方式进行编码；
对于当前待编码背景，slice层包含一个表示当前slice层中是否有匹配背景被参考的标记；遍历当前slice层中所有背景覆盖的4x4的块，判断其是否参考了匹配背景，如果存在某个4x4的块参考了匹配背景，则标记为真，否则标记为假；如果标记为真，则slice层还要包含被参考的匹配背景在数据库中的位置索引语法元素，该语法元素采用定长编码方式进行编码；
CTU层：对于当前待编码车辆，CTU层包含一个表示当前CTU层是否参考了匹配车辆像素的标记；遍历当前CTU层中每个4x4的块，如果存在某个4x4的块参考了匹配车辆像素，则标记为真，否则标记为假；当标记为真时，CTU层还要包含一个表示匹配车辆索引的语法元素；
对于当前待编码背景，CTU层包含一个表示当前CTU层是否参考了匹配背景像素的标记。
CN201810720989.1A 2018-07-03 2018-07-03 交通监控视频编码方法 Active CN108833928B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810720989.1A CN108833928B (zh) 2018-07-03 2018-07-03 交通监控视频编码方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810720989.1A CN108833928B (zh) 2018-07-03 2018-07-03 交通监控视频编码方法

Publications (2)

Publication Number Publication Date
CN108833928A true CN108833928A (zh) 2018-11-16
CN108833928B CN108833928B (zh) 2020-06-26

Family

ID=64135268

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810720989.1A Active CN108833928B (zh) 2018-07-03 2018-07-03 交通监控视频编码方法

Country Status (1)

Country Link
CN (1) CN108833928B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109871024A (zh) * 2019-01-04 2019-06-11 中国计量大学 一种基于轻量级视觉里程计的无人机位姿估计方法
CN111582251A (zh) * 2020-06-15 2020-08-25 江苏航天大为科技股份有限公司 基于卷积神经网络的城市轨道交通乘客拥挤程度检测方法
CN112714322A (zh) * 2020-12-28 2021-04-27 福州大学 一种面向游戏视频的帧间参考优化方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009111498A3 (en) * 2008-03-03 2009-12-03 Videoiq, Inc. Object matching for tracking, indexing, and search
CN104301735A (zh) * 2014-10-31 2015-01-21 武汉大学 城市交通监控视频全局编码方法及***
CN104539962A (zh) * 2015-01-20 2015-04-22 北京工业大学 一种融合视觉感知特征的可分层视频编码方法
CN105849771A (zh) * 2013-12-19 2016-08-10 Metaio有限公司 移动设备上的同步定位与映射

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009111498A3 (en) * 2008-03-03 2009-12-03 Videoiq, Inc. Object matching for tracking, indexing, and search
CN105849771A (zh) * 2013-12-19 2016-08-10 Metaio有限公司 移动设备上的同步定位与映射
CN104301735A (zh) * 2014-10-31 2015-01-21 武汉大学 城市交通监控视频全局编码方法及***
CN104539962A (zh) * 2015-01-20 2015-04-22 北京工业大学 一种融合视觉感知特征的可分层视频编码方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CHANGYUE MA: "Surveillance video coding with vehicle library", 《2017 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP)》 *
JING XIAO: "Global coding of multi-source surveillance video data", 《DATA COMPRESSION CONFERENCE (DCC)》 *
JING XIAO: "Knowledge-based coding of objects for multisource surveillance video data", 《IEEE TRANSACTIONS ON MULTIMEDIA》 *
XIANGUO ZHANG: "Background-modeling-based adaptive prediction for surveillance video coding", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109871024A (zh) * 2019-01-04 2019-06-11 中国计量大学 一种基于轻量级视觉里程计的无人机位姿估计方法
CN111582251A (zh) * 2020-06-15 2020-08-25 江苏航天大为科技股份有限公司 基于卷积神经网络的城市轨道交通乘客拥挤程度检测方法
CN112714322A (zh) * 2020-12-28 2021-04-27 福州大学 一种面向游戏视频的帧间参考优化方法
CN112714322B (zh) * 2020-12-28 2023-08-01 福州大学 一种面向游戏视频的帧间参考优化方法

Also Published As

Publication number Publication date
CN108833928B (zh) 2020-06-26

Similar Documents

Publication Publication Date Title
CN111698506B (zh) 运动信息候选者列表构建方法、三角预测解码方法及装置
CN108833928A (zh) 交通监控视频编码方法
US7142602B2 (en) Method for segmenting 3D objects from compressed videos
EP3405904B1 (en) Method for processing keypoint trajectories in video
CN110351556B (zh) 确定编码单元的编码代价的方法及相关装置
CN103873861A (zh) 一种用于hevc的编码模式选择方法
CN109040764B (zh) 一种基于决策树的hevc屏幕内容帧内快速编码算法
CN113557552A (zh) 信息处理装置和方法
Cuevas Block-matching algorithm based on harmony search optimization for motion estimation
KR20140068013A (ko) 심도맵의 인코딩 및 디코딩
CN112437310B (zh) 一种基于随机森林的vvc帧内编码快速cu划分决策方法
Chen et al. A novel fast intra mode decision for versatile video coding
CN106507106A (zh) 基于参考片的视频帧间预测编码方法
Kim et al. Fast single depth intra mode decision for depth map coding in 3D-HEVC
Ma et al. Traffic surveillance video coding with libraries of vehicles and background
CN103020138A (zh) 一种视频检索的方法和装置
Young et al. Automatic layout generation for CMOS operational amplifiers
Song et al. An efficient low-complexity block partition scheme for VVC intra coding
US20240089494A1 (en) Video encoding and decoding method and apparatus, storage medium, electronic device, and computer program product
CN112770116B (zh) 用视频压缩编码信息提取视频关键帧的方法
CN107547902B (zh) 面向监控视频编码的自适应率失真优化方法
Chen et al. A fast inter coding algorithm for HEVC based on texture and motion quad-tree models
EP2153659A1 (en) Post processing of motion vectors using sad for low bit rate video compression
Wen et al. Paired decision trees for fast intra decision in H. 266/VVC
Chen et al. Early merge mode decision for depth maps in 3D-HEVC

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant