WO2015139453A1 - 前后景分割的方法及设备 - Google Patents

前后景分割的方法及设备 Download PDF

Info

Publication number
WO2015139453A1
WO2015139453A1 PCT/CN2014/088698 CN2014088698W WO2015139453A1 WO 2015139453 A1 WO2015139453 A1 WO 2015139453A1 CN 2014088698 W CN2014088698 W CN 2014088698W WO 2015139453 A1 WO2015139453 A1 WO 2015139453A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
frame image
region
frame
foreground
Prior art date
Application number
PCT/CN2014/088698
Other languages
English (en)
French (fr)
Inventor
杜馨瑜
杜志军
王栋
Original Assignee
华为技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 华为技术有限公司 filed Critical 华为技术有限公司
Publication of WO2015139453A1 publication Critical patent/WO2015139453A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20152—Watershed segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Definitions

  • Embodiments of the present invention relate to the field of image processing, and, more particularly, to a method and apparatus for front and rear scene segmentation.
  • Front and rear scene segmentation is an important part of the video processing process, and the existing method of front and back scene segmentation is complicated to calculate, resulting in long time-consuming and low segmentation efficiency.
  • Embodiments of the present invention provide a method for front and back scene segmentation, which is simple in calculation and can be performed in real time.
  • a method for segmentation of a foreground and a scene comprising: determining, according to a foreground region of a t-1th frame image, a first region of a t-th frame image by using a block matching method, where t is greater than a positive integer of 1; determining a foreground region of the t-th frame image according to a pixel satisfying the first condition in the first region of the t-th frame image.
  • the foreground region based on the t-1th frame image is determined by using a block matching method
  • the first region of the t-th frame image includes: dividing the t-th frame image into m image blocks, m being a positive integer greater than 2; determining an i-th image of the m image blocks of the t-th frame image a matching block in the image of the t-1th frame, where i is a positive integer not greater than m; when the matching block includes pixels belonging to a foreground region of the image of the t-1th frame, determining The i-th image block of the m image blocks of the t-th frame image belongs to the first region of the t-th frame image.
  • the determining, according to the pixel that meets the first condition in the first region of the t-th frame image, determines Determining the foreground area of the t-th frame image includes: determining, in the t-1th frame image, an area other than the foreground area as a background area of the t-1 frame image; determining the t-th frame image a region outside the region is a second region of the t-th frame image; a historical cumulative color histogram of the foreground region of the t-1th frame image, and a background region of the t-1th frame image a historical cumulative color histogram; a color histogram of the first region of the t-th frame image, and a color histogram of the second region of the t-th frame image; calculating the first region of the t-th frame image a color histogram of each image block; a historical cumulative color histogram according to a
  • the device further includes a third determining unit and a fourth determining unit: the third determining unit, configured to meet the second condition
  • the second image is a background image of the image of the first frame
  • the second condition is that the variance of the luminance value V channel of the hue-saturation-luminance value HSV space of the second image is less than a first threshold, and the second image The variance of the hue H channel of the HSV space is smaller than a second threshold
  • the fourth determining unit is configured to determine a foreground area of the first frame image by using a face detection and clustering method or a watershed method.
  • the first determining unit includes: a splitting subunit, configured to: The t-frame image is divided into m image blocks, m is a positive integer greater than 2, and the first determining sub-unit is configured to determine an i-th image of the m image blocks of the t-th frame image into which the segmentation sub-unit is divided a block, a matching block in the t-1th frame image, where i is a positive integer not greater than m; and a second determining subunit, configured to be used in the matching block determined by the first determining subunit When the pixels belonging to the foreground region of the t-1th frame image are included, the i-th image block among the m image blocks of the t-th frame image is determined to belong to the first region of the t-th frame image.
  • the second determining unit includes: a third determining subunit, configured to determine the t-th An area other than the foreground area in the 1-frame image is a background area of the t-1 frame image, and determines that an area other than the first area of the t-th frame image determined by the first determining unit is a second region of the t-th frame image; a calculation subunit, configured to calculate a historical cumulative color histogram of the foreground region of the t-1th frame image, and calculate the t-th determined by the third determining subunit 1 frame of image back a histogram of the historical cumulative color of the scene region, calculating a color histogram of the first region of the t-th frame image determined by the first determining unit, and calculating the image of the t-th frame determined by the third determining sub-unit a color histogram of the second region, and calculating a color histogram of each image block in
  • the device further includes: a fifth determining unit, configured to determine the first image, in a fifth possible implementation manner of the second aspect, The first image is used as a background image of the t-th frame image; a synthesizing unit is configured to determine a foreground region of the t-th frame image determined by the second determining unit and the fifth determining unit The first image is synthesized.
  • FIG. 2 is a diagram showing an example of a second image of an embodiment of the present invention.
  • FIG. 4 is a diagram showing another example of the front and rear scene division of the initial frame in the embodiment of the present invention.
  • the foreground area of the first frame image can be determined by the face detection and clustering method.
  • FIG. 3(b) shows the foreground region of the first frame image determined by the face detection and clustering method.
  • the first condition may be determined based on a color histogram.
  • the first condition may be determined based on a color histogram of the first region of the t-th frame image and a color histogram of the foreground region of the t-1th frame image.
  • the first condition may be determined according to a color histogram of the first region of the t-th frame image and a color histogram of the foreground region of the first frame image to the t-1th frame image.
  • the invention is not limited thereto.
  • the first condition may be: among them, a color histogram of the foreground area of the image of the first frame, a color histogram of the first region of the image of the t-th frame, A historical cumulative color histogram of the foreground region of the image of the t-1th frame.
  • the color histogram of the background region of the first frame image, the background region of the first frame image is an area other than the foreground region of the first frame image of the first frame image.
  • the foreground area of the t-th frame image determined after step 102.
  • the image after smoothing the edge of the foreground region of the t-th frame image is appropriately expanded, and the expanded image can be understood as the foreground region of the enlarged t-th frame image, and then the edge of the expanded image is edged. Detecting, the edge of the expanded image is obtained, and the edge of the expanded image is located in the background region of the t-th frame image, and the pixel located at the edge of the expanded image can be used as the background pixel of the subsequent watershed segmentation.
  • the watershed segmentation may be performed based on the pixels of the edge of the etched image and the pixels of the edge of the expanded image, thereby determining the foreground image of the t-th frame image.
  • the process of video processing is to replace the background of the video, that is, to replace the background in the video with a new background to generate a new video
  • the segmented step 102 determines The foreground area is synthesized with the new background image.
  • the foreground region of the t-th frame image and the first image may be synthesized by an image synthesis algorithm.
  • the image synthesis algorithm can be an alpha channel.
  • the foreground region of the t-th frame image may be appropriately etched first, then the edge of the etched image is Gaussian smoothed, and the Gaussian smoothed result is taken as the alpha channel value.
  • the Alpha channel can be used to fuse the foreground region of the t-th frame image with the first image, so that the background of the t-th frame image can be replaced with the new image.
  • the background replacement may be that the foreground region of the t-th frame image is combined with the first image after the time domain processing. In this way, the image is synthesized faster and the calculation time is shorter. Real-time background replacement can be done while the video is in progress.
  • the background replacement may be performed by combining the foreground image of the t-th frame image with the first image after the spatial domain processing.
  • the image synthesized by the image is of high quality and the calculation time is also short. High-quality background replacement in real time during video playback.
  • the foreground region of each frame of the video can be determined, and the front and back scene segmentation of each frame of the video is realized.
  • the algorithm for front and back scene segmentation is relatively simple, and the running time is short, and can be performed in real time during the video process.
  • the method can be applied not only to the video process when the camera is fixed, but also to the video process performed by the mobile camera.
  • FIG. 6 is a flow chart of a method of video processing according to an embodiment of the present invention. This video processing is a real-time replacement of the background during the video.
  • the flow chart shown in Figure 6 includes:
  • the image of the background you want to see at the opposite end of the video Before the video starts, you can determine the image of the background you want to see at the opposite end of the video. For the first image. And determining the second image by scene judgment. Specifically, the second image can be determined by texture determination and color judgment.
  • the mobile phone can collect the first scene before the video starts. If the variance of the V channel of the HSV space of the first scenario is less than the first threshold, and the variance of the H channel of the HSV space of the first scenario is less than the second threshold, the first scenario may be determined to be the second image. If the variance of the V channel of the HSV space of the first scenario is not less than the first threshold, or the variance of the H channel of the HSV space of the first scenario is not less than the second threshold, the user of the mobile phone performing the video may change the scene by using the mobile phone. To the second scene, it is re-determined whether the second scene is available for the second image. The first threshold and the second threshold are preset. This step 201 can be referred to the description of FIG. 2 described above.
  • the user of the mobile phone that performs the video can manually draw two lanes on both sides of the boundary between the foreground region of the first frame image and the background region of the first frame image.
  • the pixels of the two channels can be used as the foreground pixel and the background pixel of the subsequent watershed algorithm respectively, so that the watershed algorithm can be used to divide the foreground region of the first frame image and the background region of the first frame image to determine the image of the first frame.
  • Prospect area Specifically, reference may be made to the foregoing description of FIGS. 3 and 4.
  • the foreground region of the first frame image and the first image may be combined using Alpha channel fusion.
  • step 205 of the embodiment of the present invention reference may be made to step 102 in FIG. 1. To avoid repetition, details are not described herein again.
  • step 206 of the embodiment of the present invention reference may be made to the foregoing description of the spatial domain segmentation. To avoid repetition, details are not described herein again.
  • the foreground image of the t-th frame image and the first image may be synthesized by using Alpha channel fusion.
  • the background image of the video seen by the opposite end of the participating video is the first image.
  • the block matching method and the color histogram can be used to determine the foreground region of each frame of the video, and to realize the front and back scene segmentation of each frame of the video, thereby enabling each frame to be The background area of the image is replaced with a new image to enable background replacement during the video.
  • the algorithm for front and back scene segmentation is relatively simple, and the running time is short, and can be performed in real time during the video process.
  • the method can be applied not only to the video process when the camera is fixed, but also to the video process performed by the mobile camera.
  • the stability of the foreground and front view segmentation method in the embodiment of the present invention is high, and the mis-segmentation does not occur due to the sudden disappearance and appearance of the foreground in the video.
  • the embodiments of the present invention can also be applied to the case of a strong light source in the background. That is to say, even if there is a strong light source in the original background of the video, the front and rear scenes can be divided.
  • Figure 7. In the original background of the t-th frame image of the video shown in FIG. 7(a), there is a strong light source, and after the background replacement method shown in FIG. 6 is used in the embodiment of the present invention, FIG. 7(b) is after the background replacement.
  • the t-th frame image In the original background of the t-th frame image of the video shown in FIG. 7(a), there is a strong light source, and after the background replacement method shown in FIG. 6 is used in the embodiment of the present invention, FIG. 7(b) is after the background replacement.
  • the t-th frame image In the original background of the t-th frame image of the video shown in FIG. 7(a), there is a strong light source, and after the background replacement method shown in FIG. 6 is used in the embodiment of
  • Figure 8 is a block diagram of an apparatus for front and rear view segmentation in accordance with one embodiment of the present invention.
  • Figure 8 device 300 includes a first determining unit 301 and a second determining unit 302.
  • the first determining unit 301 is configured to determine, according to the foreground region of the t-1th frame image, a first region of the t-th frame image by using a block matching method, where t is a positive integer greater than 1.
  • the second determining unit 302 is configured to determine, according to the pixel that satisfies the first condition in the first region of the t-th frame image determined by the first determining unit 301, the foreground region of the t-th frame image.
  • the foreground region of each frame of the video can be determined, and the front and back scene segmentation of each frame of the video is realized.
  • the algorithm for front and back scene segmentation is relatively simple, and the running time is short, and can be performed in real time during the video process.
  • the method can be applied not only to the video process when the camera is fixed, but also to the video process performed by the mobile camera.
  • the first determining unit 301 may include a dividing subunit, a first determining subunit, and a second determining subunit.
  • the second determining unit 302 may include a third determining subunit, a calculating subunit, a fourth determining subunit, and a fifth determining subunit.
  • a third determining subunit configured to determine that an area other than the foreground area in the image of the t-1th frame is a background area of the t-1 frame image, and determine that the first area is the image of the tth frame The area other than the second area of the t-th frame image.
  • the calculation subunit is configured to calculate a historical cumulative color histogram of the foreground region of the image of the t-1th frame, and calculate a historical cumulative color histogram of the background region of the t-1th frame image determined by the third determining subunit, and calculate the first
  • the determining unit 301 determines the tth a color histogram of the first region of the frame image, calculating a color histogram of the second region of the t-th frame image determined by the third determining sub-unit, and calculating the first region of the t-th frame image determined by the first determining unit 301 The color histogram of each image block.
  • the apparatus 300 shown in FIG. 8 may further include a fifth determining unit and a synthesizing unit.
  • a fifth determining unit configured to determine a first image, where the first image is used as a background image of the t-th frame image.
  • a synthesizing unit configured to synthesize the foreground region of the t-th frame image determined by the second determining unit 302 and the first image determined by the fifth determining unit.
  • FIG. 9 is a block diagram of an apparatus for front and rear scene segmentation in accordance with another embodiment of the present invention.
  • the device 400 shown in FIG. 9 includes a processor 401, a memory 402, and a transceiver circuit 403.
  • the processor 401 is configured to determine, according to a foreground region of the t-1th frame image, a first region of the t-th frame image by using a block matching method, where t is a positive integer greater than 1. And further determining, according to the determined pixel in the first region of the t-th frame image that satisfies the first condition, a foreground region of the t-th frame image.
  • the block matching method and the color histogram can be utilized. Determining the foreground area of each frame of the video, enabling front and back segmentation of each frame of the video.
  • the algorithm for front and back scene segmentation is relatively simple, and the running time is short, and can be performed in real time during the video process.
  • the method can be applied not only to the video process when the camera is fixed, but also to the video process performed by the mobile camera.
  • the general purpose processor may be a microprocessor or the processor or any conventional processor or the like.
  • the steps of the method disclosed in the embodiments of the present invention may be directly implemented by the hardware decoding processor, or may be performed by a combination of hardware and software modules in the decoding processor.
  • the software module can be located in a random access memory (RAM), a flash memory, a read-only memory (ROM), a programmable read only memory or an electrically erasable programmable memory, a register, etc.
  • RAM random access memory
  • ROM read-only memory
  • programmable read only memory or an electrically erasable programmable memory
  • register etc.
  • the storage medium is located in the memory 402, and the processor 401 reads the information in the memory 402 and performs the steps of the above method in combination with its hardware.
  • the processor 401 is further configured to use a second image that satisfies the second condition as a background image of the first frame image, and the second condition is a hue-saturation of the second image-
  • the luminance value of the luminance value HSV space has a variance of the V channel that is less than the first threshold, and the variance of the hue H channel of the HSV space of the second image is less than the second threshold.
  • a face detection and clustering method or a watershed method to determine a foreground area of the first frame image.
  • the processor 401 may be specifically configured to divide the t-th frame image into m image blocks, where m is a positive integer greater than 2. And determining, in the m-th image block of the t-th frame image, the matching block in the t-1th frame image, wherein i is not A positive integer greater than m. Further, when the matching block includes pixels belonging to the foreground region of the t-1th frame image, determining that the i th image block of the m image blocks of the t t frame image belongs to the tth frame The first area of the image.
  • the processor 401 may be specifically configured to determine, in the image of the t-1th frame, an area other than the foreground area as a background area of the t-1 frame image, and determine the The area other than the first area in the t-th frame image is the second area of the t-th frame image. Then, it can be specifically used to calculate a historical cumulative color histogram of the foreground region of the image of the t-1th frame, calculate a historical cumulative color histogram of the background region of the t-1th frame image, and calculate the color of the first region of the t-th frame image.
  • a histogram a color histogram of the second region of the t-th frame image is calculated, and a color histogram of each image block in the first region of the t-th frame image is calculated.
  • the color histogram of the second region of the t-th frame image and the color histogram of each image block in the first region of the t-th frame image determine the first condition. Further, the first region of the t-th frame image is used to determine that a region composed of a set of pixels satisfying the first condition is a foreground region of the t-th frame image.
  • the first condition may be: among them, a color histogram of the foreground area of the image of the first frame, a color histogram of the first region of the image of the t-th frame, a historical cumulative color histogram of the foreground region of the image of the t-1th frame, a color histogram of a background region of the first frame image, wherein the background region of the first frame image is an area other than the foreground region of the first frame image of the first frame image.
  • the processor 401 is further configured to determine a first image, where the first image is used as a background image of the t-th frame image. And further synthesizing the foreground region of the t-th frame image and the determined first image.
  • the device 400 can implement the various processes implemented by the device in the embodiments of FIG. 1 and FIG. 6. To avoid repetition, details are not described herein again.
  • the disclosed systems, devices, and methods may be implemented in other manners.
  • the device embodiments described above are merely illustrative.
  • the division of the unit is only a logical function division.
  • there may be another division manner for example, multiple units or components may be combined or Can be integrated into another system, or some features can be ignored or not executed.
  • the mutual coupling or direct coupling or communication connection shown or discussed may be an indirect coupling or communication connection through some interface, device or unit, and may be in an electrical, mechanical or other form.
  • the units described as separate components may or may not be physically separated, and the components displayed as units may or may not be physical units, that is, may be located in one place, or may be distributed to multiple network units. Some or all of the units may be selected according to actual needs to achieve the purpose of the solution of the embodiment.
  • each functional unit in each embodiment of the present invention may be integrated into one processing unit, or each unit may exist physically separately, or two or more units may be integrated into one unit.
  • the functions may be stored in a computer readable storage medium if implemented in the form of a software functional unit and sold or used as a standalone product.
  • the technical solution of the present invention which is essential or contributes to the prior art, or a part of the technical solution, may be embodied in the form of a software product, which is stored in a storage medium, including
  • the instructions are used to cause a computer device (which may be a personal computer, server, or network device, etc.) to perform all or part of the steps of the methods described in various embodiments of the present invention.
  • the foregoing storage medium includes various media that can store program codes, such as a USB flash drive, a mobile hard disk, a ROM, a RAM, a magnetic disk, or an optical disk.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

提供一种前后景分割的方法，包括：基于第t-1帧图像的前景区域，采用块匹配方法，确定第t帧图像的第一区域，其中，t为大于1的正整数；根据所述第t帧图像的第一区域中满足第一条件的像素，确定所述第t帧图像的前景区域。该方法基于学习策略，利用块匹配方法和颜色直方图，能够确定视频的每一帧图像的前景区域，实现对视频的每一帧图像的前后景分割，且这种前后景分割的算法比较简单，运行时间短，能够在视频过程中实时进行。同时，该方法不仅可适用于固定摄像头时的视频过程，也可应用于移动摄像头所进行的视频过程。

Description

前后景分割的方法及设备
本申请要求于2014年03月17日提交中国专利局、申请号为201410098165.7、发明名称为“前后景分割的方法及设备”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本发明实施例涉及图像处理领域，并且更具体地，涉及一种前后景分割的方法及设备。
背景技术
随着移动设备的发展，诸如移动电话，平板电脑等已经可用于视频通话。而用户在使用过程中，出于保护隐私的考虑或者出于美观的角度，想要在视频通话过程中实时替换背景。
或者，在对已有的视频进行处理的过程中，出于美观的考虑，也有对视频的背景进行替换的需求。
前后景分割是视频处理过程中的一个重要环节，而现有的前后景分割的方法计算复杂，导致耗时长，并且分割效率低。
发明内容
本发明实施例提供一种前后景分割的方法，该方法计算简单，能够实时进行。
第一方面，提供了一种前后景分割的方法，所述方法包括：基于第t-1帧图像的前景区域，采用块匹配方法，确定第t帧图像的第一区域，其中，t为大于1的正整数；根据所述第t帧图像的第一区域中满足第一条件的像素，确定所述第t帧图像的前景区域。
结合第一方面，在第一方面的第一种可能的实现方式中，所述方法还包括：将满足第二条件的第二图像作为第1帧图像的背景图像，所述第二条件为所述第二图像的色调-饱和度-亮度值HSV空间的亮度值V通道的方差小于第一阈值，且所述第二图像的HSV空间的色调H通道的方差小于第二阈值；采用人脸检测与聚类方法或者分水岭方法，确定所述第1帧图像的前景 区域。
结合第一方面或者第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式中，所述基于第t-1帧图像的前景区域，采用块匹配方法，确定第t帧图像的第一区域，包括：将所述第t帧图像分成m个图像块，m为大于2的正整数；确定所述第t帧图像的m个图像块中的第i个图像块在所述第t-1帧图像中的匹配块，其中，i为不大于m的正整数；当所述匹配块中包括属于所述第t-1帧图像的前景区域的像素时，确定所述第t帧图像的m个图像块中的第i个图像块属于所述第t帧图像的第一区域。
结合第一方面的第二种可能的实现方式，在第一方面的第三种可能的实现方式中，所述根据所述第t帧图像的第一区域中满足第一条件的像素，确定所述第t帧图像的前景区域，包括：确定所述第t-1帧图像中除前景区域之外的区域为所述t-1帧图像的背景区域；确定所述第t帧图像中除第一区域之外的区域为所述第t帧图像的第二区域；计算所述第t-1帧图像的前景区域的历史累计颜色直方图，以及所述第t-1帧图像的背景区域的历史累计颜色直方图；计算所述第t帧图像的第一区域的颜色直方图，以及所述第t帧图像的第二区域的颜色直方图；计算所述第t帧图像的第一区域中的每一个图像块的颜色直方图；根据所述第t-1帧图像的前景区域的历史累计颜色直方图、所述第t-1帧图像的背景区域的历史累计颜色直方图、所述第t帧图像的第一区域的颜色直方图、所述第t帧图像的第二区域的颜色直方图和所述第t帧图像的第一区域中的每一个图像块的颜色直方图，确定第一条件；在所述第t帧图像的第一区域中，确定满足所述第一条件的像素的集合组成的区域为所述第t帧图像的前景区域。
结合第一方面的第三种可能的实现方式，在第一方面的第四种可能的实现方式中，所述第一条件为：
Figure PCTCN2014088698-appb-000001
其中，
Figure PCTCN2014088698-appb-000002
Figure PCTCN2014088698-appb-000003
Figure PCTCN2014088698-appb-000004
为所述第1帧图像的前景区域的颜色直方图，
Figure PCTCN2014088698-appb-000005
为所述第t帧图像的第一区域的颜色直方图，
Figure PCTCN2014088698-appb-000006
为所述第t-1帧图像的前景区域的历史累计颜色直方图，
Figure PCTCN2014088698-appb-000007
为所述第1帧图像的背景区域的颜色直方图，所述第1帧图像的背景区域为所述第1帧图像除所述第1帧图像的前景区域之外的区域，
Figure PCTCN2014088698-appb-000008
为所述第t帧图像的第二区域的颜色直方图，
Figure PCTCN2014088698-appb-000009
为所述第t-1帧图像的背景区域的历史累计颜色直方图，
Figure PCTCN2014088698-appb-000010
为所述第t帧图像的第一区域中的像素所在的图像块的颜色直方图，α,β,γ,λ为不大于1的非负数，且 α+β+γ＝1。
结合第一方面或者上述第一方面的任一种可能的实现方式，在第一方面的第五种可能的实现方式中，所述方法还包括：确定第一图像，所述第一图像用于作为所述第t帧图像的背景图像；将所述第t帧图像的前景区域和所述第一图像进行合成。
第二方面，提供了一种前后景分割的设备，所述设备包括：第一确定单元，用于基于第t-1帧图像的前景区域，采用块匹配方法，确定第t帧图像的第一区域，其中，t为大于1的正整数；第二确定单元，用于根据所述第一确定单元确定的所述第t帧图像的第一区域中满足第一条件的像素，确定所述第t帧图像的前景区域。
结合第二方面，在第二方面的第一种可能的实现方式中，所述设备还包括第三确定单元和第四确定单元：所述第三确定单元，用于将满足第二条件的第二图像作为第1帧图像的背景图像，所述第二条件为所述第二图像的色调-饱和度-亮度值HSV空间的亮度值V通道的方差小于第一阈值，且所述第二图像的HSV空间的色调H通道的方差小于第二阈值；所述第四确定单元，用于采用人脸检测与聚类方法或者分水岭方法，确定所述第1帧图像的前景区域。
结合第二方面或者第二方面的第一种可能的实现方式，在第二方面的第二种可能的实现方式中，所述第一确定单元，包括：分割子单元，用于将所述第t帧图像分成m个图像块，m为大于2的正整数；第一确定子单元，用于确定所述分割子单元分成的所述第t帧图像的m个图像块中的第i个图像块，在所述第t-1帧图像中的匹配块，其中，i为不大于m的正整数；第二确定子单元，用于当所述第一确定子单元确定的所述匹配块中包括属于所述第t-1帧图像的前景区域的像素时，确定所述第t帧图像的m个图像块中的第i个图像块属于所述第t帧图像的第一区域。
结合第二方面的第二种可能的实现方式，在第二方面的第三种可能的实现方式中，所述第二确定单元，包括：第三确定子单元，用于确定所述第t-1帧图像中除前景区域之外的区域为所述t-1帧图像的背景区域，并确定所述第一确定单元确定的所述第t帧图像中除第一区域之外的区域为所述第t帧图像的第二区域；计算子单元，用于计算所述第t-1帧图像的前景区域的历史累计颜色直方图，计算所述第三确定子单元确定的所述第t-1帧图像的背 景区域的历史累计颜色直方图，计算所述第一确定单元确定的所述第t帧图像的第一区域的颜色直方图，计算所述第三确定子单元确定的所述第t帧图像的第二区域的颜色直方图，并计算所述第一确定单元确定的所述第t帧图像的第一区域中的每一个图像块的颜色直方图；第四确定子单元，用于根据所述计算子单元计算的所述第t-1帧图像的前景区域的历史累计颜色直方图、所述第t-1帧图像的背景区域的历史累计颜色直方图、所述第t帧图像的第一区域的颜色直方图、所述第t帧图像的第二区域的颜色直方图和所述第t帧图像的第一区域中的每一个图像块的颜色直方图，确定第一条件；第五确定子单元，用于在所述第一确定单元确定的所述第t帧图像的第一区域中，确定满足所述第四确定子单元确定的所述第一条件的像素的集合组成的区域为所述第t帧图像的前景区域。
结合第二方面的第三种可能的实现方式，在第二方面的第四种可能的实现方式中，所述第一条件为：
Figure PCTCN2014088698-appb-000011
其中，
Figure PCTCN2014088698-appb-000012
Figure PCTCN2014088698-appb-000013
Figure PCTCN2014088698-appb-000014
为第1帧图像的前景区域的颜色直方图，
Figure PCTCN2014088698-appb-000015
为所述第t帧图像的第一区域的颜色直方图，
Figure PCTCN2014088698-appb-000016
为所述第t-1帧图像的前景区域的历史累计颜色直方图，
Figure PCTCN2014088698-appb-000017
为所述第1帧图像的背景区域的颜色直方图，所述第1帧图像的背景区域为所述第1帧图像除所述第1帧图像的前景区域之外的区域，
Figure PCTCN2014088698-appb-000018
为所述第t帧图像的第二区域的颜色直方图，
Figure PCTCN2014088698-appb-000019
为所述第t-1帧图像的背景区域的历史累计颜色直方图，
Figure PCTCN2014088698-appb-000020
为所述第t帧图像的第一区域中的像素所在的图像块的颜色直方图，α,β,γ,λ为不大于1的非负数，且α+β+γ＝1。
结合第二方面或者上述第二方面的任一种可能的实现方式，在第二方面的第五种可能的实现方式中，所述设备还包括：第五确定单元，用于确定第一图像，所述第一图像用于作为所述第t帧图像的背景图像；合成单元，用于将所述第二确定单元确定的所述第t帧图像的前景区域和所述第五确定单元确定的所述第一图像进行合成。
本发明实施例中，基于学习策略，利用块匹配方法和颜色直方图，能够确定视频的每一帧图像的前景区域，实现对视频的每一帧图像的前后景分割。并且，本发明实施例中前后景分割的算法比较简单，运行时间短，能够在视频过程中实时进行。同时，该方法不仅可以适用于固定摄像头时的视频过程，也可以应用于移动摄像头所进行的视频过程。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例的前后景分割的方法的流程图。
图2是本发明实施例的第二图像的一例示意图。
图3是本发明实施例的初始帧的前后景分割的一例效果图。
图4是本发明实施例的初始帧的前后景分割的另一例效果图。
图5是本发明实施例的前后景分割的方法的示意性效果图。
图6是本发明实施例的视频处理的方法的流程图。
图7是本发明实施例的前后景分割的另一例效果图。
图8是本发明实施例的前后景分割的设备的框图。
图9是本发明再一实施例的前后景分割的设备的框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本发明一个实施例的前后景分割的方法的流程图。图1所示的方法包括：
101，基于第t-1帧图像的前景区域，采用块匹配方法，确定第t帧图像的第一区域，其中，t为大于1的正整数。
102，根据第t帧图像的第一区域中满足第一条件的像素，确定第t帧图像的前景区域。
本发明实施例基于块匹配和颜色直方图，确定视频的每一帧图像的前景区域和背景区域，能够将每一帧图像的背景区域替换为新的图像，进而能够实现视频背景的实时替换。
可理解，图1的过程是对视频的非初始帧进行的前后景分割。在图1的方法之前，本发明实施例还可包括确定第1帧图像的前景区域。具体地，将 满足第二条件的第二图像作为第1帧图像的背景图像。并采用人脸检测与聚类方法或者分水岭方法，确定第1帧图像的前景区域。
其中，第二条件可以为第二图像的色调-饱和度-亮度值(Hue-Saturation-Value，HSV)空间的亮度值(Value，V)通道的方差小于第一阈值，且所述第二图像的HSV空间的色调(Hue，H)通道的方差小于第二阈值。其中，第一阈值和第二阈值可以为正数，第一阈值可以不等于第二阈值，或者第一阈值也可以等于第二阈值。
可以理解为，在视频开始之前，需先选择第1帧图像的背景图像。具体地，是将满足第二条件的第二图像作为第1帧图像的背景图像。
例如，可以通过纹理判断和颜色判断共同判断第二图像是否满足第二条件。
本发明实施例中，纹理判断的方法可以是色调-饱和度-亮度值空间的V通道的方差，或者也可以是灰度共生矩阵，或者也可以是学习分类的方法，本发明对此不作限定。
本发明实施例中，颜色判断的方法可以是HSV空间的H通道的方差，或者也可以是HSV空间的H通道直方图峰度，或者也可以是学习分类的方法，本发明对此不作限定。
若第二图像满足第二图像的HSV空间的V通道的方差小于第一阈值，且第二图像的HSV空间的H通道的方差小于第二阈值，那么可将第二图像作为第1帧图像的背景图像。
例如，对于图2所示的第二图像，其中图2(a)所示的为第二图像(a)，图2(b)所示的为第二图像(b)。若设定第一阈值为1，第二阈值为2。对于第二图像(a)和第二图像(b)的HSV空间的V通道的方差和HSV空间的H通道的方差的结果见表1所示。可见，表1中的第二图像(a)满足第二条件，第二图像(b)不满足第二条件。于是图2中的图2(a)可以作为第1帧图像的背景图像，而图2(b)不可以作为第1帧图像的背景图像。
表1
Figure PCTCN2014088698-appb-000021
进一步地，之后可采用人脸检测与聚类方法或者采用分水岭方法，确定第1帧图像的前景区域。可以理解为是对视频的初始帧的分割。
具体地，可通过人脸检测与聚类方法确定第1帧图像的前景区域。例如，对图3(a)所示的第1帧图像，图3(b)为通过人脸检测与聚类方法所确定的第1帧图像的前景区域。
或者，具体地，可通过分水岭方法确定第1帧图像的前景区域。例如，对图4(a)所示的第1帧图像，可在第1帧图像的前景区域和第1帧图像的背景区域的分界处的两侧，手动地划两道，将第1帧图像的前景区域和第1帧图像的背景区域实现分割，从而确定第1帧图像的前景区域和第1帧图像的背景区域，如图4(b)所示为第1帧图像的前景区域。
若视频处理的过程是对视频的背景作替换，即将视频中的背景替换为新的背景生成新的视频，那么在该前后景分割之后，将分割后的前景区域与新的背景图像进行合成。
例如，对于第1帧图像来说，将如图3(b)或图4(b)的第1帧图像的前景区域，与第一图像进行合成。具体地，可通过图像合成算法将第1帧图像的前景区域和第一图像进行合成。例如，可采用Alpha通道融合第1帧图像的前景区域和第一图像。这里，第一图像可理解为是在视频处理过程中，进行背景替换的新的背景图像。
本发明实施例中，在步骤101中，可将第t帧图像分成m个图像块，m为大于2的正整数。进一步确定第t帧图像的m个图像块中的每一个图像块在第t-1帧图像中的匹配块。例如，可确定第t帧图像的m个图像块中的第i个图像块在第t-1帧图像中的匹配块为第一匹配块，i为不大于m的正整数。当该第一匹配块中包括属于第t-1帧图像的前景区域的像素时，可确定该第t帧图像的m个图像块中的第i个图像块属于第t帧图像的第一区域。
可理解，对第t帧图像的第一区域中的每一个图像块，可分别确定在第t-1帧图像中的匹配块，并且这些匹配块中的每一个匹配块中均包括属于第t-1帧图像的前景区域的像素。
或者，也可理解为，本发明实施例中第t-1帧图像也被分成了m个图像块。如果可确定第t帧图像的m个图像块中的第i’个图像块，在第t-1帧图像中的匹配块为第二匹配块，并且该第二匹配块所包含的所有的像素都不属 于第t-1帧图像的前景区域，那么第t帧图像的m个图像块中的第i’个图像块不属于第t帧图像的第一区域。其中，i’为不大于m的正整数。
也可认为，第t帧图像的第一区域为第t帧图像的近似前景区域。
应注意，本发明实施例中，将图像的分成m个图像块的方式不作限定。其中，m个图像块可以是规则形状的，例如，图像块的形状可以是正多边形；m个图像块也可以是不规则形状的。本发明实施例中，m个图像块的大小可以均相等，例如，可以是将第t帧图像平均地分成m个图像块。m个图像块也可以是大小不等的，本发明对此不作限定。
例如，可将第t帧图像分成p×q个图像块，且p×q＝m；相应地，第t-1帧图像也分成p×q个图像块。可采用块匹配方法，确定第t帧图像的第(a1，b1)个图像块的匹配块为第t-1帧图像的第(a2，b2)个图像块。若第t-1帧图像的第(a2，b2)个图像块包含属于第t-1帧图像的前景区域的像素，则确定第t帧图像的第(a1，b1)个图像块属于第t帧图像的第一区域。这样，对第t帧图像中的m个图像块，将属于第t帧图像的第一区域的所有图像块的集合组成的区域，可确定为第t帧图像的第一区域。其中，p和q为正整数，a1和b1为不大于p的正整数，b1和b2为不大于q的正整数。例如，可以是p＝q＝10。
例如，对于如图5(a)所示的第t帧图像，经过步骤101之后，所确定的第t帧图像的第一区域可如图5(b)所示。
本发明实施例中，在步骤102中，第一条件可以是基于颜色直方图所确定的。例如，该第一条件可以是根据第t帧图像的第一区域的颜色直方图，以及第t-1帧图像的前景区域的颜色直方图所确定的。或者，该第一条件可以是根据第t帧图像的第一区域的颜色直方图，以及第1帧图像至第t-1帧图像的前景区域的颜色直方图所确定的。本发明对此不作限定。
具体地，在步骤102中，可确定第t-1帧图像中除第t-1帧图像的前景区域之外的区域为t-1帧图像的背景区域，可确定第t帧图像中除第t帧图像的第一区域之外的区域为第t帧图像的第二区域。之后，可分别计算第t-1帧图像的前景区域的历史累计颜色直方图、第t-1帧图像的背景区域的历史累计颜色直方图、第t帧图像的第一区域的颜色直方图以及第t帧图像的第二区域的颜色直方图。并计算第t帧图像的第一区域中的每一个图像块的颜色直方图。进一步，可根据第t-1帧图像的前景区域的历史累计颜色直方图、 第t-1帧图像的背景区域的历史累计颜色直方图、第t帧图像的第一区域的颜色直方图、第t帧图像的第二区域的颜色直方图和第t帧图像的第一区域中的每一个图像块的颜色直方图，确定第一条件。这样，可在第t帧图像的第一区域中，确定满足该第一条件的像素的集合组成的区域为第t帧图像的前景区域。
可选地，作为一个实施例，第一条件可以为：
Figure PCTCN2014088698-appb-000022
其中，
Figure PCTCN2014088698-appb-000023
Figure PCTCN2014088698-appb-000024
Figure PCTCN2014088698-appb-000025
为第1帧图像的前景区域的颜色直方图，
Figure PCTCN2014088698-appb-000026
为第t帧图像的第一区域的颜色直方图，
Figure PCTCN2014088698-appb-000027
为第t-1帧图像的前景区域的历史累计颜色直方图。
Figure PCTCN2014088698-appb-000028
为第1帧图像的背景区域的颜色直方图，第1帧图像的背景区域为第1帧图像除第1帧图像的前景区域之外的区域。
Figure PCTCN2014088698-appb-000029
为第t帧图像的第二区域的颜色直方图，
Figure PCTCN2014088698-appb-000030
为第t-1帧图像的背景区域的历史累计颜色直方图，
Figure PCTCN2014088698-appb-000031
为第t帧图像的第一区域中的像素所在的图像块的颜色直方图，α,β,γ,λ为不大于1的非负数，且α+β+γ＝1。
例如，如图5(c)所示的为经步骤102之后所确定的第t帧图像的前景区域。
可以理解为，图1所示的方法是在前后景分割过程中，对第t帧图像的时域处理。
本发明实施例的前后景分割过程中，在图1所示的方法之后，还可以包括空域处理。具体地，可对步骤102所确定的第t帧图像的前景区域的边缘进行平滑，在此基础上再分别进行腐蚀和膨胀，并进一步进行分水岭分割，以确定第t帧图像的前景图像。
具体地，在对第t帧图像的前景区域的边缘进行平滑之后，可先进行适当的腐蚀，腐蚀后的图像可理解为是收缩了的第t帧图像的前景区域，随后对该腐蚀后的图像进行边缘检测，可得到该腐蚀后的图像的边缘，并且该腐蚀后的图像的边缘位于第t帧图像的前景区域内，位于该腐蚀后的图像的边缘的像素可以作为后续分水岭分割的前景像素。
再对第t帧图像的前景区域的边缘进行平滑之后的图像，进行适当的膨胀，膨胀后的图像可理解为是放大了的第t帧图像的前景区域，随后对该膨胀后的图像进行边缘检测，可得到该膨胀后的图像的边缘，并且该膨胀后的图像的边缘位于第t帧图像的背景区域内，位于该膨胀后的图像的边缘的像素可以作为后续分水岭分割的背景像素。
随后，可基于上述腐蚀后的图像的边缘的像素和膨胀后的图像的边缘的像素，进行分水岭分割，从而确定第t帧图像的前景图像。
若视频处理的过程是对视频的背景作替换，即将视频中的背景替换为新的背景生成新的视频，那么在该图1所示的前后景分割之后，将分割后的步骤102所确定的前景区域与新的背景图像进行合成。
例如，对于第t帧图像来说，将如图5(c)的第t帧图像的前景区域，与第一图像进行合成。合成之后的新的图像如图5(d)所示。
具体地，可通过图像合成算法将第t帧图像的前景区域和第一图像进行合成。例如，该图像合成算法可以是Alpha通道。具体地，可首先对第t帧图像的前景区域进行适当的腐蚀，再对腐蚀后的图像的边缘作高斯平滑，并将该高斯平滑的结果作为Alpha通道值。进一步地可利用Alpha通道融合第t帧图像的前景区域与第一图像，这样，便可将第t帧图像的背景替换后的新的图像。
应注意，本发明实施例中，背景替换可以是在时域处理之后，将第t帧图像的前景区域与第一图像进行合成。这样，该图像合成的速度较快，计算时间短。可以在视频进行过程中进行实时地背景替换。
或者，背景替换也可以是在空域处理之后，将第t帧图像的前景图像与第一图像进行合成。这样，该图像合成的图像质量较高，并且该计算时间也较短。可以在视频进行过程中进行实时地高质量的背景替换。
本发明实施例中，基于学习策略，利用块匹配方法和颜色直方图，能够确定视频的每一帧图像的前景区域，实现对视频的每一帧图像的前后景分割。并且，本发明实施例中前后景分割的算法比较简单，运行时间短，能够在视频过程中实时进行。同时，该方法不仅可以适用于固定摄像头时的视频过程，也可以应用于移动摄像头所进行的视频过程。
图6是本发明实施例的视频处理的方法的流程图。该视频处理是对视频进行过程中的背景进行实时替换。图6所示的流程图包括：
201，确定第一图像和确定第二图像。
具体地，第一图像为在视频过程中进行背景替换所需的新的背景的图像。第二图像为在视频过程中设备所拍摄的真实的背景的图像，或者也可以说是在视频过程中进行背景替换的旧的背景的图像。
在视频开始之前，可将期望参与视频的对端所看到的背景的图像，确定 为第一图像。并通过场景判断确定第二图像。具体地，可通过纹理判断和颜色判断确定第二图像。
例如，若进行视频的设备为移动电话，可在视频开始之前，移动电话采集第一场景。若该第一场景的HSV空间的V通道的方差小于第一阈值，且第一场景的HSV空间的H通道的方差小于第二阈值，可确定该第一场景为第二图像。若该第一场景的HSV空间的V通道的方差不小于第一阈值，或第一场景的HSV空间的H通道的方差不小于第二阈值，进行视频的移动电话的用户可手持移动电话更换场景至第二场景，重新确定该第二场景是否可用于第二图像。其中，第一阈值和第二阈值是预设的。该步骤201可参见前述图2的描述。
该步骤201也可以理解为是在视频开始之前，选择新旧背景图像。
202，确定第1帧图像的前景区域和第1帧图像的背景区域。
具体地，将步骤201所确定的第二图像作为视频的第1帧图像的背景图像并开始视频的过程。
步骤202也可称为初始帧的前后景分割。具体地，可通过人脸检测与聚类方法确定第1帧图像的前景区域。或者，可通过分水岭方法确定第1帧图像的前景区域。
例如，若进行视频的设备为移动电话，进行视频的移动电话的用户，可在第1帧图像的前景区域和第1帧图像的背景区域的分界处的两侧，手动地划两道，这两道所在的像素可分别作为后续分水岭算法的前景像素和背景像素，这样便可采用分水岭算法将第1帧图像的前景区域和第1帧图像的背景区域实现分割，从而确定第1帧图像的前景区域。具体地，可参见前述图3和图4的描述。
203，将第1帧图像的前景区域和第一图像进行合成。
具体地，可采用Alpha通道融合，将第1帧图像的前景区域和第一图像进行合成。
首先令t＝2，执行步骤204。
204，采用块匹配算法，确定第t帧图像的第一区域。
具体地，本发明实施例中的步骤204，可参见图1中的步骤101，为避免重复，这里不再赘述。
205，确定第t帧图像的前景区域。
具体地，本发明实施例中的步骤205，可参见图1中步骤102，为避免重复，这里不再赘述。
206，根据第t帧图像的前景区域确定第t帧图像的前景图像。
具体地，本发明实施例中的步骤206，可参见前述关于空域分割的描述，为避免重复，这里不再赘述。
207，将第t帧图像的前景图像和第一图像进行合成。
具体地，可采用Alpha通道融合，将第t帧图像的前景图像和第一图像进行合成。
这样，便完成了对第t帧图像的背景替换。
208，t增加1，继续执行步骤204。
209，背景替换之后的视频图像。
这样，通过对视频的每一帧图像的前后景分割和图像合成之后，能够得到进行背景替换之后的视频图像。
可理解，参与视频的对端所看到的视频的背景图像为第一图像。
本发明实施例中，基于学习策略，利用块匹配方法和颜色直方图，能够确定视频的每一帧图像的前景区域，实现对视频的每一帧图像的前后景分割，进而能够将每一帧图像的背景区域替换为新的图像，实现视频过程中的背景替换。并且，本发明实施例中前后景分割的算法比较简单，运行时间短，能够在视频过程中实时进行。同时，该方法不仅可以适用于固定摄像头时的视频过程，也可以应用于移动摄像头所进行的视频过程。
应注意，这里所说的移动摄像头可以是在视频过程中，参与视频的用户在运动，例如可以是转动。或者也可以是在视频过程中，参与视频的用户手持设备在运动，例如，可以是用户手持设备在走动，也可以是用户手持设备并将设备进行转动，等等。本发明对此不作限定。
同时，本发明实施例中的前后景分割方法的稳定性高，不会由于视频中前景突然消失与出现而出现误分割。
另外，本发明实施例也可以应用于对背景中强光源的情况。也就是说，即使视频的原背景中有强光源，也可以实现前后景分割。如图7所示。图7(a)所示的视频的第t帧图像的原背景中有强光源，采用本发明实施例的如图6所示的背景替换的方法之后，图7(b)为背景替换之后的第t帧图像。
图8是本发明一个实施例的前后景分割的设备的框图。图8所示的设备 300包括第一确定单元301和第二确定单元302。
第一确定单元301，用于基于第t-1帧图像的前景区域，采用块匹配方法，确定第t帧图像的第一区域，其中，t为大于1的正整数。
第二确定单元302，用于根据第一确定单元301确定的所述第t帧图像的第一区域中满足第一条件的像素，确定所述第t帧图像的前景区域。
本发明实施例中，基于学习策略，利用块匹配方法和颜色直方图，能够确定视频的每一帧图像的前景区域，实现对视频的每一帧图像的前后景分割。并且，本发明实施例中前后景分割的算法比较简单，运行时间短，能够在视频过程中实时进行。同时，该方法不仅可以适用于固定摄像头时的视频过程，也可以应用于移动摄像头所进行的视频过程。
可选地，作为一个实施例，图8所示的设备300还可包括：第三确定单元303和第四确定单元304。第三确定单元303用于将满足第二条件的第二图像作为第1帧图像的背景图像，所述第二条件为所述第二图像的色调-饱和度-亮度值HSV空间的亮度值V通道的方差小于第一阈值，且所述第二图像的HSV空间的色调H通道的方差小于第二阈值。第四确定单元304用于采用人脸检测与聚类方法或者分水岭方法，确定所述第1帧图像的前景区域。
可选地，作为一个实施例，第一确定单元301，可包括分割子单元、第一确定子单元和第二确定子单元。
分割子单元，可用于将所述第t帧图像分成m个图像块，m为大于2的正整数。第一确定子单元，可用于确定分割子单元分成的所述第t帧图像的m个图像块中的第i个图像块，在所述第t-1帧图像中的匹配块，其中，i为不大于m的正整数。第二确定子单元，用于当第一确定子单元确定的所述匹配块中包括属于所述第t-1帧图像的前景区域的像素时，确定所述第t帧图像的m个图像块中的第i个图像块属于所述第t帧图像的第一区域。
可选地，作为一个实施例，第二确定单元302，可包括第三确定子单元、计算子单元、第四确定子单元和第五确定子单元。
第三确定子单元，可用于确定所述第t-1帧图像中除前景区域之外的区域为所述t-1帧图像的背景区域，并确定所述第t帧图像中除第一区域之外的区域为所述第t帧图像的第二区域。计算子单元，可用于计算第t-1帧图像的前景区域的历史累计颜色直方图，计算第三确定子单元确定的第t-1帧图像的背景区域的历史累计颜色直方图，计算第一确定单元301确定的第t 帧图像的第一区域的颜色直方图，计算第三确定子单元确定的第t帧图像的第二区域的颜色直方图，并计算第一确定单元301确定的第t帧图像的第一区域中的每一个图像块的颜色直方图。第四确定子单元，可用于根据计算子单元计算的第t-1帧图像的前景区域的历史累计颜色直方图、第t-1帧图像的背景区域的历史累计颜色直方图、第t帧图像的第一区域的颜色直方图、第t帧图像的第二区域的颜色直方图和第t帧图像的第一区域中的每一个图像块的颜色直方图，确定第一条件。第五确定子单元，可用于在第一确定单元301确定的所述第t帧图像的第一区域中，确定满足第四确定子单元确定的所述第一条件的像素的集合组成的区域为所述第t帧图像的前景区域。
可选地，作为一个实施例，第一条件可以为：
Figure PCTCN2014088698-appb-000032
其中，
Figure PCTCN2014088698-appb-000033
Figure PCTCN2014088698-appb-000034
Figure PCTCN2014088698-appb-000035
为第1帧图像的前景区域的颜色直方图，
Figure PCTCN2014088698-appb-000036
为第t帧图像的第一区域的颜色直方图，
Figure PCTCN2014088698-appb-000037
为第t-1帧图像的前景区域的历史累计颜色直方图，
Figure PCTCN2014088698-appb-000038
为第1帧图像的背景区域的颜色直方图，所述第1帧图像的背景区域为所述第1帧图像除所述第1帧图像的前景区域之外的区域，
Figure PCTCN2014088698-appb-000039
为第t帧图像的第二区域的颜色直方图，
Figure PCTCN2014088698-appb-000040
为第t-1帧图像的背景区域的历史累计颜色直方图，
Figure PCTCN2014088698-appb-000041
为第t帧图像的第一区域中的像素所在的图像块的颜色直方图，α,β,γ,λ为不大于1的非负数，且α+β+γ＝1。
可选地，作为另一个实施例，图8所示的设备300还可包括第五确定单元和合成单元。第五确定单元，用于确定第一图像，所述第一图像用于作为所述第t帧图像的背景图像。合成单元，用于将第二确定单元302确定的所述第t帧图像的前景区域和所述第五确定单元确定的所述第一图像进行合成。
设备300能够实现图1和图6的实施例中由设备实现的各个过程，为避免重复，这里不再赘述。
图9是本发明另一个实施例的前后景分割的设备的框图。图9所示的设备400包括：处理器401、存储器402、收发电路403。
处理器401，用于基于第t-1帧图像的前景区域，采用块匹配方法，确定第t帧图像的第一区域，其中，t为大于1的正整数。并进一步根据所确定的所述第t帧图像的第一区域中满足第一条件的像素，确定所述第t帧图像的前景区域。
本发明实施例中，基于学习策略，利用块匹配方法和颜色直方图，能够 确定视频的每一帧图像的前景区域，实现对视频的每一帧图像的前后景分割。并且，本发明实施例中前后景分割的算法比较简单，运行时间短，能够在视频过程中实时进行。同时，该方法不仅可以适用于固定摄像头时的视频过程，也可以应用于移动摄像头所进行的视频过程。
设备400中的各个组件通过总线***405耦合在一起，其中总线***405除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图9中将各种总线都标为总线***405。
上述本发明实施例揭示的方法可以应用于处理器401中，或者由处理器401实现。处理器401可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器401中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1001可以是通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存取存储器(Random Access Memory，RAM)、闪存、只读存储器(Read-Only Memory，ROM)、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器402，处理器401读取存储器402中的信息，结合其硬件完成上述方法的步骤。
可选地，作为一个实施例，处理器401还可用于将满足第二条件的第二图像作为第1帧图像的背景图像，所述第二条件为所述第二图像的色调-饱和度-亮度值HSV空间的亮度值V通道的方差小于第一阈值，且所述第二图像的HSV空间的色调H通道的方差小于第二阈值。并进一步采用人脸检测与聚类方法或者分水岭方法，确定所述第1帧图像的前景区域。
可选地，作为另一个实施例，处理器401可具体用于将所述第t帧图像分成m个图像块，m为大于2的正整数。并确定分成的所述第t帧图像的m个图像块中的第i个图像块，在所述第t-1帧图像中的匹配块，其中，i为不 大于m的正整数。进一步，在所述匹配块中包括属于所述第t-1帧图像的前景区域的像素时，确定所述第t帧图像的m个图像块中的第i个图像块属于所述第t帧图像的第一区域。
可选地，作为另一个实施例，处理器401可具体用于确定所述第t-1帧图像中除前景区域之外的区域为所述t-1帧图像的背景区域，并确定所述第t帧图像中除第一区域之外的区域为所述第t帧图像的第二区域。随后可具体用于计算第t-1帧图像的前景区域的历史累计颜色直方图，计算第t-1帧图像的背景区域的历史累计颜色直方图，计算第t帧图像的第一区域的颜色直方图，计算第t帧图像的第二区域的颜色直方图，并计算第t帧图像的第一区域中的每一个图像块的颜色直方图。并根据所计算的第t-1帧图像的前景区域的历史累计颜色直方图、第t-1帧图像的背景区域的历史累计颜色直方图、第t帧图像的第一区域的颜色直方图、第t帧图像的第二区域的颜色直方图和第t帧图像的第一区域中的每一个图像块的颜色直方图，确定第一条件。进一步可用于在所述第t帧图像的第一区域中，确定满足所述第一条件的像素的集合组成的区域为所述第t帧图像的前景区域。
可选地，作为一个实施例，第一条件可以为：
Figure PCTCN2014088698-appb-000042
其中，
Figure PCTCN2014088698-appb-000043
Figure PCTCN2014088698-appb-000044
Figure PCTCN2014088698-appb-000045
为第1帧图像的前景区域的颜色直方图，
Figure PCTCN2014088698-appb-000046
为第t帧图像的第一区域的颜色直方图，
Figure PCTCN2014088698-appb-000047
为第t-1帧图像的前景区域的历史累计颜色直方图，
Figure PCTCN2014088698-appb-000048
为第1帧图像的背景区域的颜色直方图，所述第1帧图像的背景区域为所述第1帧图像除所述第1帧图像的前景区域之外的区域，
Figure PCTCN2014088698-appb-000049
为第t帧图像的第二区域的颜色直方图，
Figure PCTCN2014088698-appb-000050
为第t-1帧图像的背景区域的历史累计颜色直方图，
Figure PCTCN2014088698-appb-000051
为第t帧图像的第一区域中的像素所在的图像块的颜色直方图，α,β,γ,λ为不大于1的非负数，且α+β+γ＝1。
可选地，作为另一个实施例，处理器401还可用于确定第一图像，所述第一图像用于作为所述第t帧图像的背景图像。并进一步将所述第t帧图像的前景区域和所确定的所述第一图像进行合成。
设备400能够实现图1和图6的实施例中由设备实现的各个过程，为避免重复，这里不再赘述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特 定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的***、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (12)

  1. 一种前后景分割的方法，其特征在于，所述方法包括：
    基于第t-1帧图像的前景区域，采用块匹配方法，确定第t帧图像的第一区域，其中，t为大于1的正整数；
    根据所述第t帧图像的第一区域中满足第一条件的像素，确定所述第t帧图像的前景区域。
  2. 根据权利要求1所述的方法，其特征在于，所述方法还包括：
    将满足第二条件的第二图像作为第1帧图像的背景图像，所述第二条件为所述第二图像的色调-饱和度-亮度值HSV空间的亮度值V通道的方差小于第一阈值，且所述第二图像的HSV空间的色调H通道的方差小于第二阈值；
    采用人脸检测与聚类方法或者分水岭方法，确定所述第1帧图像的前景区域。
  3. 根据权利要求1或2所述的方法，其特征在于，所述基于第t-1帧图像的前景区域，采用块匹配方法，确定第t帧图像的第一区域，包括：
    将所述第t帧图像分成m个图像块，m为大于2的正整数；
    确定所述第t帧图像的m个图像块中的第i个图像块在所述第t-1帧图像中的匹配块，其中，i为不大于m的正整数；
    当所述匹配块中包括属于所述第t-1帧图像的前景区域的像素时，确定所述第t帧图像的m个图像块中的第i个图像块属于所述第t帧图像的第一区域。
  4. 根据权利要求3所述的方法，其特征在于，所述根据所述第t帧图像的第一区域中满足第一条件的像素，确定所述第t帧图像的前景区域，包括：
    确定所述第t-1帧图像中除前景区域之外的区域为所述t-1帧图像的背景区域；
    确定所述第t帧图像中除第一区域之外的区域为所述第t帧图像的第二区域；
    计算所述第t-1帧图像的前景区域的历史累计颜色直方图，以及所述第t-1帧图像的背景区域的历史累计颜色直方图；
    计算所述第t帧图像的第一区域的颜色直方图，以及所述第t帧图像的第二区域的颜色直方图；
    计算所述第t帧图像的第一区域中的每一个图像块的颜色直方图；
    根据所述第t-1帧图像的前景区域的历史累计颜色直方图、所述第t-1帧图像的背景区域的历史累计颜色直方图、所述第t帧图像的第一区域的颜色直方图、所述第t帧图像的第二区域的颜色直方图和所述第t帧图像的第一区域中的每一个图像块的颜色直方图，确定第一条件；
    在所述第t帧图像的第一区域中，确定满足所述第一条件的像素的集合组成的区域为所述第t帧图像的前景区域。
  5. 根据权利要求4所述的方法，其特征在于，所述第一条件为：
    Figure PCTCN2014088698-appb-100001
    其中，
    Figure PCTCN2014088698-appb-100002
    Figure PCTCN2014088698-appb-100003
    为所述第1帧图像的前景区域的颜色直方图，
    Figure PCTCN2014088698-appb-100004
    为所述第t帧图像的第一区域的颜色直方图，
    Figure PCTCN2014088698-appb-100005
    为所述第t-1帧图像的前景区域的历史累计颜色直方图，
    Figure PCTCN2014088698-appb-100006
    为所述第1帧图像的背景区域的颜色直方图，所述第1帧图像的背景区域为所述第1帧图像除所述第1帧图像的前景区域之外的区域，
    Figure PCTCN2014088698-appb-100007
    为所述第t帧图像的第二区域的颜色直方图，
    Figure PCTCN2014088698-appb-100008
    为所述第t-1帧图像的背景区域的历史累计颜色直方图，
    Figure PCTCN2014088698-appb-100009
    为所述第t帧图像的第一区域中的像素所在的图像块的颜色直方图，α,β,γ,λ为不大于1的非负数，且α+β+γ＝1。
  6. 根据权利要求1至5任一项所述的方法，其特征在于，所述方法还包括：
    确定第一图像，所述第一图像用于作为所述第t帧图像的背景图像；
    将所述第t帧图像的前景区域和所述第一图像进行合成。
  7. 一种前后景分割的设备，其特征在于，所述设备包括：
    第一确定单元，用于基于第t-1帧图像的前景区域，采用块匹配方法，确定第t帧图像的第一区域，其中，t为大于1的正整数；
    第二确定单元，用于根据所述第一确定单元确定的所述第t帧图像的第一区域中满足第一条件的像素，确定所述第t帧图像的前景区域。
  8. 根据权利要求7所述的设备，其特征在于，所述设备还包括第三确定单元和第四确定单元：
    所述第三确定单元，用于将满足第二条件的第二图像作为第1帧图像的背景图像，所述第二条件为所述第二图像的色调-饱和度-亮度值HSV空间的亮度值V通道的方差小于第一阈值，且所述第二图像的HSV空间的色调H通道的方差小于第二阈值；
    所述第四确定单元，用于采用人脸检测与聚类方法或者分水岭方法，确定所述第1帧图像的前景区域。
  9. 根据权利要求7或8所述的设备，其特征在于，所述第一确定单元，包括：
    分割子单元，用于将所述第t帧图像分成m个图像块，m为大于2的正整数；
    第一确定子单元，用于确定所述分割子单元分成的所述第t帧图像的m个图像块中的第i个图像块，在所述第t-1帧图像中的匹配块，其中，i为不大于m的正整数；
    第二确定子单元，用于当所述第一确定子单元确定的所述匹配块中包括属于所述第t-1帧图像的前景区域的像素时，确定所述第t帧图像的m个图像块中的第i个图像块属于所述第t帧图像的第一区域。
  10. 根据权利要求9所述的设备，其特征在于，所述第二确定单元，包括：
    第三确定子单元，用于确定所述第t-1帧图像中除前景区域之外的区域为所述t-1帧图像的背景区域，并确定所述第一确定单元确定的所述第t帧图像中除第一区域之外的区域为所述第t帧图像的第二区域；
    计算子单元，用于计算所述第t-1帧图像的前景区域的历史累计颜色直方图，计算所述第三确定子单元确定的所述第t-1帧图像的背景区域的历史累计颜色直方图，计算所述第一确定单元确定的所述第t帧图像的第一区域的颜色直方图，计算所述第三确定子单元确定的所述第t帧图像的第二区域的颜色直方图，并计算所述第一确定单元确定的所述第t帧图像的第一区域中的每一个图像块的颜色直方图；
    第四确定子单元，用于根据所述计算子单元计算的所述第t-1帧图像的前景区域的历史累计颜色直方图、所述第t-1帧图像的背景区域的历史累计颜色直方图、所述第t帧图像的第一区域的颜色直方图、所述第t帧图像的第二区域的颜色直方图和所述第t帧图像的第一区域中的每一个图像块的颜色直方图，确定第一条件；
    第五确定子单元，用于在所述第一确定单元确定的所述第t帧图像的第一区域中，确定满足所述第四确定子单元确定的所述第一条件的像素的集合组成的区域为所述第t帧图像的前景区域。
  11. 根据权利要求10所述的设备，其特征在于，所述第一条件为：
    Figure PCTCN2014088698-appb-100010
    其中，
    Figure PCTCN2014088698-appb-100011
    Figure PCTCN2014088698-appb-100012
    为第1帧图像的前景区域的颜色直方图，
    Figure PCTCN2014088698-appb-100013
    为所述第t帧图像的第一区域的颜色直方图，
    Figure PCTCN2014088698-appb-100014
    为所述第t-1帧图像的前景区域的历史累计颜色直方图，
    Figure PCTCN2014088698-appb-100015
    为所述第1帧图像的背景区域的颜色直方图，所述第1帧图像的背景区域为所述第1帧图像除所述第1帧图像的前景区域之外的区域，
    Figure PCTCN2014088698-appb-100016
    为所述第t帧图像的第二区域的颜色直方图，
    Figure PCTCN2014088698-appb-100017
    为所述第t-1帧图像的背景区域的历史累计颜色直方图，
    Figure PCTCN2014088698-appb-100018
    为所述第t帧图像的第一区域中的像素所在的图像块的颜色直方图，α,β,γ,λ为不大于1的非负数，且α+β+γ＝1。
  12. 根据权利要求7至11任一项所述的设备，其特征在于，所述设备还包括：
    第五确定单元，用于确定第一图像，所述第一图像用于作为所述第t帧图像的背景图像；
    合成单元，用于将所述第二确定单元确定的所述第t帧图像的前景区域和所述第五确定单元确定的所述第一图像进行合成。
PCT/CN2014/088698 2014-03-17 2014-10-16 前后景分割的方法及设备 WO2015139453A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201410098165.7 2014-03-17
CN201410098165.7A CN104933694A (zh) 2014-03-17 2014-03-17 前后景分割的方法及设备

Publications (1)

Publication Number Publication Date
WO2015139453A1 true WO2015139453A1 (zh) 2015-09-24

Family

ID=54120849

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2014/088698 WO2015139453A1 (zh) 2014-03-17 2014-10-16 前后景分割的方法及设备

Country Status (2)

Country Link
CN (1) CN104933694A (zh)
WO (1) WO2015139453A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107612869A (zh) * 2016-07-11 2018-01-19 中兴通讯股份有限公司 图像处理方法及装置
CN107240073B (zh) * 2017-05-12 2020-04-24 杭州电子科技大学 一种基于梯度融合与聚类的三维视频图像修复方法
CN108171719B (zh) * 2017-12-25 2021-07-23 北京奇虎科技有限公司 基于自适应跟踪框分割的视频穿越处理方法及装置
CN109741249A (zh) 2018-12-29 2019-05-10 联想(北京)有限公司 一种数据处理方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001313914A (ja) * 2001-02-13 2001-11-09 Toshiba Corp 動画像符号化装置
CN101686338A (zh) * 2008-09-26 2010-03-31 索尼株式会社 分割视频中的前景和背景的***和方法
CN101777180A (zh) * 2009-12-23 2010-07-14 中国科学院自动化研究所 基于背景建模和能量最小化的复杂背景实时替换方法
CN102567727A (zh) * 2010-12-13 2012-07-11 中兴通讯股份有限公司 一种背景目标替换方法和装置
CN103607558A (zh) * 2013-11-04 2014-02-26 深圳市中瀛鑫科技股份有限公司 一种视频监控***及其目标匹配方法和装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6757428B1 (en) * 1999-08-17 2004-06-29 National Instruments Corporation System and method for color characterization with applications in color measurement and color matching
WO2009022593A1 (ja) * 2007-08-15 2009-02-19 Rivac Co., Ltd. 画像処理装置、画像処理方法、及び画像処理プログラム、並びに撮像装置
WO2010093408A1 (en) * 2009-02-10 2010-08-19 Thomson Licensing Video matting based on foreground-background constraint propagation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001313914A (ja) * 2001-02-13 2001-11-09 Toshiba Corp 動画像符号化装置
CN101686338A (zh) * 2008-09-26 2010-03-31 索尼株式会社 分割视频中的前景和背景的***和方法
CN101777180A (zh) * 2009-12-23 2010-07-14 中国科学院自动化研究所 基于背景建模和能量最小化的复杂背景实时替换方法
CN102567727A (zh) * 2010-12-13 2012-07-11 中兴通讯股份有限公司 一种背景目标替换方法和装置
CN103607558A (zh) * 2013-11-04 2014-02-26 深圳市中瀛鑫科技股份有限公司 一种视频监控***及其目标匹配方法和装置

Also Published As

Publication number Publication date
CN104933694A (zh) 2015-09-23

Similar Documents

Publication Publication Date Title
US9196071B2 (en) Image splicing method and apparatus
JP6889417B2 (ja) 一連の画像の画像内のオブジェクト境界安定化のための画像処理装置及び方法
US10121256B2 (en) Temporal saliency map
CN108965740B (zh) 一种实时视频换脸方法、装置、设备和存储介质
WO2019134504A1 (zh) 图像背景虚化方法、装置、存储介质及电子设备
JP7226851B2 (ja) 画像処理の方法および装置並びにデバイス
KR101952569B1 (ko) 디바이스를 위한 이미지 편집 기법들
US10620826B2 (en) Object selection based on region of interest fusion
CN107749062B (zh) 图像处理方法、及装置
EP2863362B1 (en) Method and apparatus for scene segmentation from focal stack images
US8879835B2 (en) Fast adaptive edge-aware matting
WO2015139453A1 (zh) 前后景分割的方法及设备
US10249029B2 (en) Reconstruction of missing regions of images
CN105243371A (zh) 一种人脸美颜程度的检测方法、***及拍摄终端
JP2016095854A (ja) 画像処理方法及び装置
JP2017091298A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
CN112384928A (zh) 对图像执行对象照明操纵的方法和装置
US20140098246A1 (en) Method, Apparatus and Computer-Readable Recording Medium for Refocusing Photographed Image
CN112788254B (zh) 摄像头抠像方法、装置、设备及存储介质
CN111161299A (zh) 影像分割方法、计算机程序、存储介质及电子装置
US8977003B1 (en) Detecting objects in a sequence of images
WO2023221636A1 (zh) 视频处理方法、装置、设备、存储介质和程序产品
EP2930687B1 (en) Image segmentation using blur and color
WO2023019910A1 (zh) 视频处理方法及装置、电子设备、存储介质、计算机程序、计算机程序产品
JP2014230283A (ja) ピクチャーを処理する方法および装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14885997

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14885997

Country of ref document: EP

Kind code of ref document: A1