CN108881807A - 用于对监控视频中的数据进行扩充的方法和装置 - Google Patents

用于对监控视频中的数据进行扩充的方法和装置 Download PDF

Info

Publication number
CN108881807A
CN108881807A CN201710321532.9A CN201710321532A CN108881807A CN 108881807 A CN108881807 A CN 108881807A CN 201710321532 A CN201710321532 A CN 201710321532A CN 108881807 A CN108881807 A CN 108881807A
Authority
CN
China
Prior art keywords
data
image
scene
function
event
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710321532.9A
Other languages
English (en)
Inventor
刘晓青
谭志明
白向辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to CN201710321532.9A priority Critical patent/CN108881807A/zh
Priority to US15/909,424 priority patent/US11037311B2/en
Priority to JP2018056917A priority patent/JP7159582B2/ja
Publication of CN108881807A publication Critical patent/CN108881807A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Architecture (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明涉及用于对监控视频中的数据进行扩充的方法和装置。一种用于对监控视频中的数据进行扩充的方法，包括：基于用户设定或默认的要对数据实现的功能和参数范围，随机选择对数据进行处理的一个或多个处理功能及处理功能的参数；用所选择的一个或多个处理功能对数据进行处理得到新的数据；以及重复执行上述过程，直到生成所需数量的数据。根据本发明的方法，可以仅通过少量的输入样本实现具有小尺寸和多样性的监控数据，同时可以保证扩充的数据具有尽量多的随机性和全面性。

Description

用于对监控视频中的数据进行扩充的方法和装置
技术领域
本发明涉及数据处理领域，更具体地涉及一种用于对监控视频中的数据进行扩充的方法和装置。
背景技术
在基于机器学习的监控视频分析中，训练数据较为昂贵并且数量不足，尤其对于客户定制的应用更是如此。
因此，需要一种对数量不足的监控视频中的数据进行扩充的方法。
发明内容
在下文中给出关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。
本发明的一个主要目的在于，提供了一种用于对监控视频中的数据进行扩充的方法，包括：基于用户设定或默认的要对数据实现的功能和参数范围，随机选择对数据进行处理的一个或多个处理功能及处理功能的参数；用所选择的一个或多个处理功能对数据进行处理得到新的数据；以及重复执行上述过程，直到生成所需数量的数据。
根据本发明的一个方面，提供一种用于对监控视频中的数据进行扩充的装置，包括：功能选择单元，被配置为基于用户设定或默认的要对数据实现的功能和参数范围，随机选择对数据进行处理的一个或多个功能子单元；处理单元，被配置为利用所选择的一个或多个功能子单元对数据进行处理得到新的数据；以及重复控制单元，被配置为重复功能选择单元和处理单元执行的处理，直到生成所需数量的数据。
另外，本发明的实施例还提供了用于实现上述方法的计算机程序。
此外，本发明的实施例还提供了至少计算机可读介质形式的计算机程序产品，其上记录有用于实现上述方法的计算机程序代码。
通过以下结合附图对本发明的最佳实施例的详细说明，本发明的这些以及其他优点将更加明显。
附图说明
参照下面结合附图对本发明实施例的说明，会更加容易地理解本发明的以上和其它目的、特点和优点。附图中的部件只是为了示出本发明的原理。在附图中，相同的或类似的技术特征或部件将采用相同或类似的附图标记来表示。
图1示出了用于实现根据本发明的用于对监控视频中的数据进行扩充的方法的***示意图。
图2示出了根据本发明的一个实施例的用于对监控视频中的数据进行扩充的方法200的示例性过程的流程图。
图3A-3E示出了图像空间拉伸的一些示意图。
图4A-4D示出了对图像进行旋转的视图。
图5示出了对图像裁剪的示意图。
图6示出了基于视频场景对图像进行光照改变的示意图。
图7A示出了删除事件的示意性流程图。
图7B示出了添加事件的示意性流程图。
图8是示出根据本发明的另一个实施例的用于对监控视频中的数据进行扩充的装置800的示例性配置的框图。
图9是示出可以用于实施本发明的用于对监控视频中的数据进行扩充的方法和装置的计算设备的示例性结构图。
具体实施方式
在下文中将结合附图对本发明的示范性实施例进行描述。为了清楚和简明起见，在说明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何这种实际实施例的过程中必须做出很多特定于实施方式的决定，以便实现开发人员的具体目标，例如，符合与***及业务相关的那些限制条件，并且这些限制条件可能会随着实施方式的不同而有所改变。此外，还应该了解，虽然开发工作有可能是非常复杂和费时的，但对得益于本公开内容的本领域技术人员来说，这种开发工作仅仅是例行的任务。
在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的设备结构和/或处理步骤，而省略了与本发明关系不大的其他细节。
本发明提出了一种在监控视频中的数据量不足的情况下，扩充训练数据以用于机器学习的方法。可以仅通过少量的输入样本实现具有小尺寸和多样性的监控数据。为了保证扩充的数据具有尽量多的随机性和全面性，本发明的方法提供各个功能及功能的参数选择的随机性。
对数据进行扩充包括对图像和视频的操作来仿真真实的监控环境，例如不同的摄像头质量、不同的视角、白天和晚上、图像场景以及不同的天气状况。这将有助于在监控应用中进行训练和分析。
本发明提出的数据扩充方法针对输入图像或视频可以实现以下功能：空间变换、光照变化、噪声滤波、场景合成、事件修改等。每种功能包括满足功能需要的不同方法，同时产生不同的结果。
可以随机选择或组合一个或多个功能来作用于数据，以产生不同的结果。图1示出了用于实现根据本发明的用于对监控视频中的数据进行扩充的方法的***示意图。在图1中，所有算法指的是要对数据执行的所有功能和功能的相关方法；用户需要用于指明可以使用什么功能，还指明什么方法可以应用于所选择的功能中以及参数设置或范围；逻辑过滤用于根据用户需要和所有提供的算法，自动导出算法的执行顺序并且从参数范围中随机地选择值，使得最终可以清楚算法如何作用于图像；执行顺序是通过逻辑过滤生成的算法的执行顺序；算法是最终选择的算法和对应的参数。
根据图1示出的***，可以根据用户需要在对数据执行的所有功能中自动选择要对图像执行的功能和执行顺序，从而生成新的图像。
下面结合附图详细说明根据本发明的实施例的用于对监控视频中的数据进行扩充的方法和装置。下文中的描述按如下顺序进行：
1.用于对监控视频中的数据进行扩充的方法
2.用于对监控视频中的数据进行扩充的装置
3.用以实施本申请的方法和装置的计算设备
[1.用于对监控视频中的数据进行扩充的方法]
图2示出了根据本发明的一个实施例的用于对监控视频中的数据进行扩充的方法200的示例性过程的流程图。
首先，在步骤S202中，基于用户设定或默认的要对数据实现的功能和参数范围，随机选择对数据进行处理的一个或多个处理功能及处理功能的参数。
接着，在步骤S204中，用所选择的一个或多个处理功能对数据进行处理得到新的数据。
最后，在步骤S206中，重复执行上述过程，直到生成所需数量的数据。
在一个示例中，多个处理功能可以包括：空间变换、光照变化、噪声滤波、场景合成以及事件修改。
下面将对每种处理功能进行详细说明。
空间变换
空间变换用于变换成像空间关系和图像中的对象位置，具体可以包括：图像空间拉伸、图像旋转、图像裁剪以及图像畸变仿真。
图像空间拉伸是根据指定的长宽比、图像宽度或高度来拉伸图像。如果指定图像大小，并且想要保持原始的长宽比，可能需要图像填充算法。
图3A-3E示出了图像空间拉伸的一些示意图。其中，图3A表示原始图像，图3B是将整个图像拉伸至指定的长宽比，图3C和图3D是将图像分别进行了放大和缩小，图3E是将图像拉伸至指定的大小并且进行填充以保持几何不变性。
图像旋转是对图像进行旋转，但是不违反传统视角。
如图4A-4D示出了对图像的旋转，其中，图4A是原始图像，图4B是进行旋转的图像，而图4C和4D是违反了传统视角的错误的图像。
通过翻转图像，可以得到令人满意的新的图像。除此之外，可以随机地以[-a°,+a°]内的旋转角度旋转原始/翻转的图像，其中a是任意正数，并且一般设置为小于5。
图像裁剪是根据指定的大小和采样规则对图像进行裁剪。例如，图像大小是(w,h)，而裁剪的图像的大小是(αw,βh)，α，β∈(0,1](w是宽度，h是高度，而α，β是缩放因子)。裁剪的图像的数目N为：
N＝round(1/α)*round(1/β)＝A*B
在该等式中，round指的是上舍入，因此round(1/0.4)＝3。首先将宽度划分为A等份，此时宽度方向上有A+1个裁剪点(即端点与等分点)。如果A是偶数，则以(αw,βh)的大小从左至右依次裁剪A/2个子图，分别令其左上角点与裁剪点重合，而剩余的A/2个剪裁的子图则从右往左使右上角点与裁剪点重合。如果A是奇数，首先按照前述方法裁剪(A-1)个子图。然后令剩下的一个子图与裁剪好的(A-1)个子图在高度上对齐，并使其中心点的x坐标与原图中心点x坐标一致(x指沿宽度方向的位置)。使用类似的方式来确定高度方向上的裁剪位置，在每个高度裁剪位置上重复宽度裁剪流程，进而获得能够覆盖全图的所有子图。
图5示出了对图像裁剪的示意图，在图5中使得α＝0.4，β＝0.8。
图像畸变仿真是对通过不同成像装置捕获的图像进行仿真。
首先，根据成像装置的已知参数来校正图像畸变；
然后，向经校正的图像应用新的摄像头成像参数。
光照变化
光照变化功能用于仿真不同的成像光线条件。光照变化包括随机光照改变和基于视频场景的光照改变。
随机光照改变是在包括色度的颜色空间中，例如HSV(色度、饱和度、明度)或HSL(色度、饱和度、亮度)颜色空间中，保持色度分量不变，随机改变一个或多个其他颜色分量的值。
基于视频场景的光照改变是由于在同一场景捕获的视频在一天的不同时间具有不同的光照，因此根据后一帧或前一帧来改变图像颜色可以使得光照更为合理。
具体地，对于视频中的第n个帧，随机选择第n个帧之前或之后的与其间隔为m的帧作为参考，对第n+m或第n-m个帧应用直方图匹配来得到新的第n个帧，n和m都为任意正整数。对视频中的每一帧执行上述处理，从而得到新的图像。直方图可以根据整个帧或者通过自适应算法或用户指定的算法所选择的帧中的区域来计算。如图6，示出了基于视频场景对图像进行光照改变的示意图。
噪声滤波
噪声滤波功能是考虑在随机干扰下的成像差别。噪声滤波包括噪声添加和失焦模拟。
噪声添加是在图像中的随机位置处通过随机数来改变原始像素值。这可以通过使用随机数生成器来完成，例如高斯或平均随机数生成器。可以应用一种或多种噪声添加方法来得到新的图像。
失焦模拟是基于相邻像素的值在通过滤波函数计算的图像中重置所有或部分像素或者根据相机参数与估计的目标距离进行失焦模拟。
另外，可以基于估计的目标距离再现失焦。具体地，首先估计目标距离；然后根据摄像头参数和估计的目标距离来模拟失焦。
场景合成
场景合成功能提供虚拟图像，包括三部分：材料库、动作生成器和场景控制器。
材料库用于提供在监控视频中发生的对象和场景的材料。
动作生成器用于对各种动作进行仿真，比如撞车、跌倒、奔跑、制动等，以提供对事件生成的支持。
场景控制器用于根据内置的逻辑块组织来自材料库的材料并且生成虚拟监控图像。控制器可以指定各种场景、天气、一天中的时间、目标、目标位置、事件、拍摄角度和成像设备等。例如，可以在图像中的道路上合成一个立方体形状，以仿真遗留物。还可以将一些行人从一个场景复制到另一个场景来仿真拥挤的环境。
事件修改
事件修改的功能提供了用于编辑原始图像并且改变图像中的场景或对象的工具。可以包括删除事件和添加事件。
删除事件包括：检测事件，然后删除相关对象，最后对场景进行修补，从而产生新的图像。图7A示出了删除事件的示意性流程图。
添加事件包括：提取场景信息，指定事件范围(ROI，感兴趣区域)，最后利用来自场景合成的功能添加具体事件。图7B示出了添加事件的示意性流程图。
以上的对数据进行处理的一个或多个处理功能可以以随机次序执行。而在所选择的多个处理功能中包括场景合成处理的情况下，则首先对数据执行场景合成处理，再以随机次序执行其它处理功能。
本发明提出了一种集成的、对监控视频中的数据进行扩充的方法，可以基于用户设定或默认的要对数据实现的功能和参数范围，自动选择对数据进行处理的一个或多个处理功能及处理功能的参数，使得监控视频的数据扩充更加容易并且更加高效。根据本发明的方法，可以仅通过少量的输入样本实现具有小尺寸和多样性的监控数据，同时可以保证扩充的数据具有尽量多的随机性和全面性。
[2.用于对监控视频中的数据进行扩充的装置]
图8是示出根据本发明的另一个实施例的用于对监控视频中的数据进行扩充的装置800的示例性配置的框图。
如图8所示，用于对监控视频中的数据进行扩充的装置800包括功能选择单元802、处理单元804、以及重复控制单元806。
其中，功能选择单元802被配置为基于用户设定或默认的要对数据实现的功能和参数范围，随机选择对数据进行处理的一个或多个功能子单元。
处理单元804被配置为利用所选择的一个或多个功能子单元对数据进行处理得到新的数据。
重复控制单元，被配置为重复功能选择单元和处理单元执行的处理，直到生成所需数量的数据。
其中，功能子单元包括：空间变换子单元、光照变化子单元、噪声滤波子单元、场景合成子单元以及事件修改子单元。
其中，以随机次序执行所选择的多个功能子单元的处理。其中，在所选择的功能子单元包括场景合成子单元的情况下，首先利用场景合成子单元对数据执行处理，再以随机次序执行其它功能子单元的处理。
空间变换子单元被配置为执行以下各项中的一项或多项：图像空间拉伸、图像旋转、图像裁剪以及图像畸变仿真。
其中，图像畸变仿真是对由不同成像装置所捕获的图像进行仿真，包括：根据成像装置的已知参数来校正图像畸变；以及对经校正的图像应用新的成像参数。
光照变化子单元被配置为执行随机光照改变和基于视频场景的光照改变中的一项或多项。
其中，随机光照改变包括：在包括色度的颜色空间中，保持色度不变，随机改变一个或多个其他颜色分量的值。
基于视频场景的光照改变包括对视频中的每一帧执行以下处理：对于视频中的第n个帧，随机选择第n个帧之前或之后的与其间隔为m的帧作为参考，对第n+m或第n-m个帧应用直方图匹配来得到新的第n个帧，n和m都为任意正整数。
噪声滤波子单元被配置为执行噪声添加和失焦模拟中的一项或多项。
其中，噪声添加包括在图像中的随机位置处通过随机数改变原始像素值。
失焦模拟包括基于相邻像素的值在通过滤波函数计算的图像中重置所有或部分像素或者根据相机参数与估计的目标距离进行失焦模拟。
场景合成子单元被配置为：由材料库提供在监控视频中发生的对象和场景的材料；对各种动作进行仿真；以及组织来自材料库的材料并且生成虚拟监控图像。
事件修改子单元被配置为执行删除事件和添加事件中的一项或多项。
其中，删除事件包括：检测事件；删除相关对象；以及对场景进行修补从而产生新的图像。
添加事件包括：提取场景信息；指定事件范围；以及利用来自场景合成的功能添加具体事件。
用于对监控视频中的数据进行扩充的装置800的各个部分的操作和功能的细节可以参照结合图1-7描述的本发明的用于对监控视频中的数据进行扩充的方法的实施例，这里不再详细描述。
在此需要说明的是，图8所示的用于对监控视频中的数据进行扩充的装置800及其组成单元的结构仅仅是示例性的，本领域技术人员可以根据需要对图8所示的结构框图进行修改。
[3.用以实施本申请的方法和装置的计算设备]
以上结合具体实施例描述了本发明的基本原理，但是，需要指出的是，对本领域的普通技术人员而言，能够理解本发明的方法和装置的全部或者任何步骤或者部件，可以在任何计算装置(包括处理器、存储介质等)或者计算装置的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。
因此，本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此，本发明的目的也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明，并且存储有这样的程序产品的存储介质也构成本发明。显然，所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。
在通过软件和/或固件实现本发明的实施例的情况下，从存储介质或网络向具有专用硬件结构的计算机，例如图9所示的通用计算机900安装构成该软件的程序，该计算机在安装有各种程序时，能够执行各种功能等等。
在图9中，中央处理单元(CPU)901根据只读存储器(ROM)902中存储的程序或从存储部分908加载到随机存取存储器(RAM)903的程序执行各种处理。在RAM 903中，也根据需要存储当CPU 901执行各种处理等等时所需的数据。CPU 901、ROM 902和RAM 903经由总线904彼此链路。输入/输出接口905也链路到总线904。
下述部件链路到输入/输出接口905：输入部分906(包括键盘、鼠标等等)、输出部分907(包括显示器，比如阴极射线管(CRT)、液晶显示器(LCD)等，和扬声器等)、存储部分908(包括硬盘等)、通信部分909(包括网络接口卡比如LAN卡、调制解调器等)。通信部分909经由网络比如因特网执行通信处理。根据需要，驱动器910也可链路到输入/输出接口905。可拆卸介质911比如磁盘、光盘、磁光盘、半导体存储器等等根据需要被安装在驱动器910上，使得从中读出的计算机程序根据需要被安装到存储部分908中。
在通过软件实现上述系列处理的情况下，从网络比如因特网或存储介质比如可拆卸介质911安装构成软件的程序。
本领域的技术人员应当理解，这种存储介质不局限于图9所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质911。可拆卸介质911的例子包含磁盘(包含软盘(注册商标))、光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)(注册商标))和半导体存储器。或者，存储介质可以是ROM 902、存储部分908中包含的硬盘等等，其中存有程序，并且与包含它们的设备一起被分发给用户。
本发明还提出一种存储有机器可读取的指令代码的程序产品。指令代码由机器读取并执行时，可执行上述根据本发明实施例的方法。
相应地，用于承载上述存储有机器可读取的指令代码的程序产品的存储介质也包括在本发明的公开中。存储介质包括但不限于软盘、光盘、磁光盘、存储卡、存储棒等。
本领域的普通技术人员应理解，在此所例举的是示例性的，本发明并不局限于此。
在本说明书中，“第一”、“第二”以及“第N个”等表述是为了将所描述的特征在文字上区分开，以清楚地描述本发明。因此，不应将其视为具有任何限定性的含义。
作为一个示例，上述方法的各个步骤以及上述设备的各个组成模块和/或单元可以实施为软件、固件、硬件或其组合，并作为相应设备中的一部分。上述装置中各个组成模块、单元通过软件、固件、硬件或其组合的方式进行配置时可使用的具体手段或方式为本领域技术人员所熟知，在此不再赘述。
作为一个示例，在通过软件或固件实现的情况下，可以从存储介质或网络向具有专用硬件结构的计算机(例如图9所示的通用计算机900)安装构成该软件的程序，该计算机在安装有各种程序时，能够执行各种功能等。
在上面对本发明具体实施例的描述中，针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其他实施方式中使用，与其他实施方式中的特征相组合，或替代其他实施方式中的特征。
应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其他特征、要素、步骤或组件的存在或附加。
此外，本发明的方法不限于按照说明书中描述的时间顺序来执行，也可以按照其他的时间顺序地、并行地或独立地执行。因此，本说明书中描述的方法的执行顺序不对本发明的技术范围构成限制。
本发明及其优点，但是应当理解在不超出由所附的权利要求所限定的本发明的精神和范围的情况下可以进行各种改变、替代和变换。而且，本发明的范围不仅限于说明书所描述的过程、设备、手段、方法和步骤的具体实施例。本领域内的普通技术人员从本发明的公开内容将容易理解，根据本发明可以使用执行与在此的相应实施例基本相同的功能或者获得与其基本相同的结果的、现有和将来要被开发的过程、设备、手段、方法或者步骤。因此，所附的权利要求旨在在它们的范围内包括这样的过程、设备、手段、方法或者步骤。
基于以上的说明，可知公开至少公开了以下技术方案：
附记1、一种用于对监控视频中的数据进行扩充的方法，包括：
基于用户设定或默认的要对数据实现的功能和参数范围，选择对数据进行处理的一个或多个处理功能及处理功能的参数；
用所选择的一个或多个处理功能对所述数据进行处理得到新的数据；以及
重复执行上述过程，直到生成所需数量的数据。
附记2、根据附记1所述的方法，其中，所述多个处理功能包括：
空间变换、光照变化、噪声滤波、场景合成以及事件修改。
附记3、根据附记2所述的方法，其中，以随机次序执行所述多个处理功能，其中，在所述多个处理功能包括所述场景合成的情况下，首先对数据执行所述场景合成处理，再以随机次序执行其它处理功能。
附记4、根据附记3所述的方法，其中，所述空间变换包括以下各项中的一项或多项：
图像空间拉伸、图像旋转、图像裁剪以及图像畸变仿真。
附记5、根据附记4所述的方法，其中，所述图像畸变仿真是对由不同成像装置所捕获的图像进行仿真，包括：
根据成像装置的已知参数来校正图像畸变；以及
对经校正的图像应用新的成像参数。
附记6、根据附记3所述的方法，其中，所述光照变化包括随机光照改变和基于视频场景的光照改变，其中，
所述随机光照改变包括：在包括色度的颜色空间中，保持色度不变，随机改变一个或多个其他颜色分量的值；
所述基于视频场景的光照改变包括对视频中的每一帧执行以下处理：对于视频中的第n个帧，随机选择所述第n个帧之前或之后的与其间隔为m的帧作为参考，对第n+m或第n-m个帧应用直方图匹配来得到新的第n个帧，n和m都为任意正整数。
附记7、根据附记3所述的方法，所述噪声滤波包括噪声添加和失焦模拟，其中，
所述噪声添加包括在图像中的随机位置处通过随机数改变原始像素值；
所述失焦模拟包括基于相邻像素的值在通过滤波函数计算的图像中重置所有或部分像素或者根据相机参数与估计的目标距离进行失焦模拟。
附记8、根据附记3所述的方法，其中，所述场景合成包括：
由材料库提供在监控视频中发生的对象和场景的材料；
对各种动作进行仿真；以及
组织来自所述材料库的材料并且生成虚拟监控图像。
附记9、根据附记8所述的方法，其中，所述事件修改包括：删除事件和添加事件，其中，
所述删除事件包括：
检测事件；
删除相关对象；以及
对场景进行修补从而产生新的图像，
所述添加事件包括：
提取场景信息；
指定事件范围；以及
利用来自所述场景合成的功能添加具体事件。
附记10、一种用于对监控视频中的数据进行扩充的装置，包括：
功能选择单元，被配置为基于用户设定或默认的要对数据实现的功能和参数范围，随机选择对数据进行处理的一个或多个功能子单元；
处理单元，被配置为利用所选择的一个或多个功能子单元对所述数据进行处理得到新的数据；以及
重复控制单元806被配置为重复所述功能选择单元和所述处理单元执行的处理，直到生成所需数量的数据。
附记11、根据附记10所述的装置，其中，所述功能子单元包括：
空间变换子单元、光照变化子单元、噪声滤波子单元、场景合成子单元以及事件修改子单元。
附记12、根据附记11所述的装置，其中，以随机次序执行所选择的多个功能子单元的处理，其中，在所选择的功能子单元包括所述场景合成子单元的情况下，首先利用所述场景合成子单元对数据执行处理，再以随机次序执行其它功能子单元的处理。
附记13、根据附记11所述的装置，其中，所述空间变换子单元被配置为执行以下各项中的一项或多项：
图像空间拉伸、图像旋转、图像裁剪以及图像畸变仿真。
附记14、根据附记13所述的装置，其中，所述图像畸变仿真是对由不同成像装置所捕获的图像进行仿真，包括：
根据成像装置的已知参数来校正图像畸变；以及
对经校正的图像应用新的成像参数。
附记15、根据附记11所述的装置，其中，所述光照变化子单元被配置为执行随机光照改变和基于视频场景的光照改变中的一项或多项，其中，
所述随机光照改变包括：在包括色度的颜色空间中，保持色度不变，随机改变一个或多个其他颜色分量的值；
所述基于视频场景的光照改变包括对视频中的每一帧执行以下处理：对于视频中的第n个帧，随机选择所述第n个帧之前或之后的与其间隔为m的帧作为参考，对第n+m或第n-m个帧应用直方图匹配来得到新的第n个帧，n和m都为任意正整数。
附记16、根据附记11所述的装置，所述噪声滤波子单元被配置为执行噪声添加和失焦模拟中的一项或多项，其中，
所述噪声添加包括在图像中的随机位置处通过随机数改变原始像素值；
所述失焦模拟包括基于相邻像素的值在通过滤波函数计算的图像中重置所有或部分像素或者根据相机参数与估计的目标距离进行失焦模拟。
附记17、根据附记11所述的装置，其中，所述场景合成子单元被配置为：
由材料库提供在监控视频中发生的对象和场景的材料；
对各种动作进行仿真；以及
组织来自所述材料库的材料并且生成虚拟监控图像。
附记18、根据附记11所述的装置，其中，所述事件修改子单元被配置为执行删除事件和添加事件中的一项或多项，其中，
所述删除事件包括：
检测事件；
删除相关对象；以及
对场景进行修补从而产生新的图像，
所述添加事件包括：
提取场景信息；
指定事件范围；以及
利用来自所述场景合成的功能添加具体事件。

Claims (10)

1.一种用于对监控视频中的数据进行扩充的方法，包括：
基于用户设定或默认的要对数据实现的功能和参数范围，随机选择对数据进行处理的一个或多个处理功能及处理功能的参数；
用所选择的一个或多个处理功能对所述数据进行处理得到新的数据；以及
重复执行上述过程，直到生成所需数量的数据。
2.根据权利要求1所述的方法，其中，所述多个处理功能包括：
空间变换、光照变化、噪声滤波、场景合成以及事件修改。
3.根据权利要求2所述的方法，其中，以随机次序执行所选择的多个处理功能，其中，在所选择的处理功能中包括所述场景合成的情况下，首先对数据执行所述场景合成处理，再以随机次序执行其它处理功能。
4.根据权利要求2所述的方法，其中，所述空间变换包括以下各项中的一项或多项：
图像空间拉伸、图像旋转、图像裁剪以及图像畸变仿真。
5.根据权利要求4所述的方法，其中，所述图像畸变仿真是对由不同成像装置所捕获的图像进行仿真，包括：
根据成像装置的已知参数来校正图像畸变；以及
对经校正的图像应用新的成像参数。
6.根据权利要求2所述的方法，其中，所述光照变化包括随机光照改变和基于视频场景的光照改变，其中，
所述随机光照改变包括：在包括色度的颜色空间中，保持色度不变，随机改变一个或多个其他颜色分量的值；
所述基于视频场景的光照改变包括对视频中的每一帧执行以下处理：对于视频中的第n个帧，随机选择所述第n个帧之前或之后的与其间隔为m的帧作为参考，对第n+m或第n-m个帧应用直方图匹配来得到新的第n个帧，n和m都为任意正整数。
7.根据权利要求2所述的方法，所述噪声滤波包括噪声添加和失焦模拟，其中，
所述噪声添加包括在图像中的随机位置处通过随机数改变原始像素值；
所述失焦模拟包括基于相邻像素的值在通过滤波函数计算的图像中重置所有或部分像素或者根据相机参数与估计的目标距离进行失焦模拟。
8.根据权利要求2所述的方法，其中，所述场景合成包括：
由材料库提供在监控视频中发生的对象和场景的材料；
对各种动作进行仿真；以及
组织来自所述材料库的材料并且生成虚拟监控图像。
9.根据权利要求2所述的方法，其中，所述事件修改包括：删除事件和添加事件，其中，
所述删除事件包括：
检测事件；
删除相关对象；以及
对场景进行修补从而产生新的图像，
所述添加事件包括：
提取场景信息；
指定事件范围；以及
利用来自所述场景合成的功能添加具体事件。
10.一种用于对监控视频中的数据进行扩充的装置，包括：
功能选择单元，被配置为基于用户设定或默认的要对数据实现的功能和参数范围，随机选择对数据进行处理的一个或多个功能子单元；
处理单元，被配置为利用所选择的一个或多个功能子单元对所述数据进行处理得到新的数据；以及
重复控制单元，被配置为重复所述功能选择单元和所述处理单元执行的处理，直到生成所需数量的数据。
CN201710321532.9A 2017-05-09 2017-05-09 用于对监控视频中的数据进行扩充的方法和装置 Pending CN108881807A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201710321532.9A CN108881807A (zh) 2017-05-09 2017-05-09 用于对监控视频中的数据进行扩充的方法和装置
US15/909,424 US11037311B2 (en) 2017-05-09 2018-03-01 Method and apparatus for augmenting data in monitoring video
JP2018056917A JP7159582B2 (ja) 2017-05-09 2018-03-23 監視ビデオにおけるデータの拡張方法及び装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710321532.9A CN108881807A (zh) 2017-05-09 2017-05-09 用于对监控视频中的数据进行扩充的方法和装置

Publications (1)

Publication Number Publication Date
CN108881807A true CN108881807A (zh) 2018-11-23

Family

ID=64097315

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710321532.9A Pending CN108881807A (zh) 2017-05-09 2017-05-09 用于对监控视频中的数据进行扩充的方法和装置

Country Status (3)

Country Link
US (1) US11037311B2 (zh)
JP (1) JP7159582B2 (zh)
CN (1) CN108881807A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112884003A (zh) * 2021-01-18 2021-06-01 中国船舶重工集团公司第七二四研究所 一种基于样本扩充器的雷达目标样本扩充生成方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7796155B1 (en) * 2003-12-19 2010-09-14 Hrl Laboratories, Llc Method and apparatus for real-time group interactive augmented-reality area monitoring, suitable for enhancing the enjoyment of entertainment events
CN101859224A (zh) * 2010-04-30 2010-10-13 陈铸 一种从数字图片中抠取目标对象的方法和***
CN102004552A (zh) * 2010-12-06 2011-04-06 深圳泰山在线科技有限公司 一种基于跟踪点识别的加强用户现场运动体验的方法和***
CN102156960A (zh) * 2010-12-16 2011-08-17 新奥特（北京）视频技术有限公司 一种图像噪声添加方法
CN102625129A (zh) * 2012-03-31 2012-08-01 福州一点通广告装饰有限公司 远程真人三维虚拟仿场景互动的实现方法
CN103413229A (zh) * 2013-08-30 2013-11-27 郝晓伟 试戴佩饰物的效果呈现方法及装置
CN103678836A (zh) * 2012-08-30 2014-03-26 北京三星通信技术研究有限公司 虚拟试衣***及方法
CN104125385A (zh) * 2013-04-24 2014-10-29 晨星半导体股份有限公司 影像编辑方法以及影像处理装置
CN104954741A (zh) * 2015-05-29 2015-09-30 东方浩联（北京）智能科技有限公司 深层次自我学习网络实现矿车空满状态的检测方法和***

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7505604B2 (en) * 2002-05-20 2009-03-17 Simmonds Precision Prodcuts, Inc. Method for detection and recognition of fog presence within an aircraft compartment using video images
US8564502B2 (en) * 2009-04-02 2013-10-22 GM Global Technology Operations LLC Distortion and perspective correction of vector projection display
US8473981B1 (en) * 2011-06-30 2013-06-25 Google Inc. Augmenting metadata of digital media objects using per object classifiers
CA2935690A1 (en) * 2013-12-31 2015-07-09 Memorial Sloan Kettering Cancer Center Systems, methods, and apparatus for multichannel imaging of fluorescent sources in real-time
JP6539901B2 (ja) 2015-03-09 2019-07-10 学校法人法政大学 植物病診断システム、植物病診断方法、及びプログラム
US11106273B2 (en) * 2015-10-30 2021-08-31 Ostendo Technologies, Inc. System and methods for on-body gestural interfaces and projection displays
US10514769B2 (en) * 2016-10-16 2019-12-24 Dell Products, L.P. Volumetric tracking for orthogonal displays in an electronic collaboration setting

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7796155B1 (en) * 2003-12-19 2010-09-14 Hrl Laboratories, Llc Method and apparatus for real-time group interactive augmented-reality area monitoring, suitable for enhancing the enjoyment of entertainment events
CN101859224A (zh) * 2010-04-30 2010-10-13 陈铸 一种从数字图片中抠取目标对象的方法和***
CN102004552A (zh) * 2010-12-06 2011-04-06 深圳泰山在线科技有限公司 一种基于跟踪点识别的加强用户现场运动体验的方法和***
CN102156960A (zh) * 2010-12-16 2011-08-17 新奥特（北京）视频技术有限公司 一种图像噪声添加方法
CN102625129A (zh) * 2012-03-31 2012-08-01 福州一点通广告装饰有限公司 远程真人三维虚拟仿场景互动的实现方法
CN103678836A (zh) * 2012-08-30 2014-03-26 北京三星通信技术研究有限公司 虚拟试衣***及方法
CN104125385A (zh) * 2013-04-24 2014-10-29 晨星半导体股份有限公司 影像编辑方法以及影像处理装置
CN103413229A (zh) * 2013-08-30 2013-11-27 郝晓伟 试戴佩饰物的效果呈现方法及装置
CN104954741A (zh) * 2015-05-29 2015-09-30 东方浩联（北京）智能科技有限公司 深层次自我学习网络实现矿车空满状态的检测方法和***

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112884003A (zh) * 2021-01-18 2021-06-01 中国船舶重工集团公司第七二四研究所 一种基于样本扩充器的雷达目标样本扩充生成方法

Also Published As

Publication number Publication date
JP7159582B2 (ja) 2022-10-25
JP2018190394A (ja) 2018-11-29
US11037311B2 (en) 2021-06-15
US20180330513A1 (en) 2018-11-15

Similar Documents

Publication Publication Date Title
CN109670558B (zh) 使用深度学习的数字图像完成
US11790491B2 (en) Machine learning based image processing techniques
US8824821B2 (en) Method and apparatus for performing user inspired visual effects rendering on an image
US8233739B1 (en) Patch jittering for visual artifact correction
CN109872379A (zh) 数据处理装置和方法
JP6129759B2 (ja) Ｓｉｍｄ型超並列演算処理装置向け超解像処理方法、装置、プログラム及び記憶媒体
JP2010066802A (ja) 画像処理装置および方法、並びにプログラム
CN111050150B (zh) 焦距调节方法、装置、投影设备及存储介质
US20180286069A1 (en) Image processing apparatus and image processing method
CN108305256B (zh) 视频抠像处理方法、处理装置及计算机可读存储介质
US20060176295A1 (en) 3-Dimensional graphics data display device
US11379992B2 (en) Patch expansion for segmentation network training
CN110443764A (zh) 视频修复方法、装置及服务器
WO2019073267A1 (en) AUTOMATED IMAGE HANDLING USING ARTIFICIAL INTELLIGENCE
CN110852965A (zh) 一种基于生成对抗网络的视频光照增强方法及***
WO2022055367A1 (en) Method for emulating defocus of sharp rendered images
Sai Hareesh et al. Exemplar-based color image inpainting: a fractional gradient function approach
CN108881807A (zh) 用于对监控视频中的数据进行扩充的方法和装置
Gao et al. Semi-supervised texture filtering with shallow to deep understanding
KR20220012785A (ko) 데이터 증강 기반 사물 분석 모델 학습 장치 및 방법
KR102448551B1 (ko) 노드 기반 그래프에 의해 구성되는 알고리즘을 이용한 영상 처리 방법 및 장치
CN112365493B (zh) 用于眼底图像识别模型的训练数据生成方法及设备
JP6919433B2 (ja) 画像処理装置、画像処理方法、画像処理システムおよびプログラム
JP6375778B2 (ja) 画像処理方法および画像処理装置
US20230169708A1 (en) Image and video matting

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181123