WO2013091369A1 - 一种基于深度图像的多目标分割和跟踪方法 - Google Patents

一种基于深度图像的多目标分割和跟踪方法 Download PDF

Info

Publication number
WO2013091369A1
WO2013091369A1 PCT/CN2012/077870 CN2012077870W WO2013091369A1 WO 2013091369 A1 WO2013091369 A1 WO 2013091369A1 CN 2012077870 W CN2012077870 W CN 2012077870W WO 2013091369 A1 WO2013091369 A1 WO 2013091369A1
Authority
WO
WIPO (PCT)
Prior art keywords
foreground
target
depth
pixel
depth image
Prior art date
Application number
PCT/CN2012/077870
Other languages
English (en)
French (fr)
Inventor
黄向生
徐波
Original Assignee
中国科学院自动化研究所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中国科学院自动化研究所 filed Critical 中国科学院自动化研究所
Publication of WO2013091369A1 publication Critical patent/WO2013091369A1/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects

Definitions

  • the present invention relates to the field of image processing, pattern recognition, automatic control, and computer applications, and more particularly to a multi-target segmentation and tracking method based on depth images.
  • Image segmentation is a key step in image processing to image analysis, and is a preparation stage for target tracking, and is also the basis for further image understanding.
  • image segmentation refers to the technique and process of dividing an image into regions of specific characteristics and extracting objects of interest. Image segmentation is widely used and appears in almost all areas of image processing. For example, in remote sensing applications, segmentation between different cloud systems, segmentation of vegetation, roads, bridges, water bodies, etc.; in medical applications, brain MR image segmentation; in traffic image analysis, vehicles from the background Segmentation, segmentation of license plates, etc.; In these applications, segmentation is usually used to analyze, identify, compress, and encode images. The accuracy of segmentation directly affects the effectiveness of subsequent tasks. Therefore, the method and accuracy of segmentation are crucial.
  • Target dynamic tracking involves image processing, pattern recognition, automatic control, and computer applications
  • the field is an important topic in the field of computer vision and image coding research. It is widely used in military weapons, industrial monitoring, traffic management and other fields. Target dynamic tracking not only needs to complete the background segmentation, but also to identify the target and realize dynamic positioning and recognition. At the same time, the background noise and unspecified interference are also the challenges that need to be overcome.
  • the present invention provides a multi-target segmentation and tracking method based on depth image, and improves the image.
  • the efficiency of segmentation, and the segmentation effect is good.
  • the dynamic tracking of the target is achieved and the reliability is high, which plays an important role in image processing and pattern recognition.
  • the data source processed by the present invention is a depth image which is quite different from common grayscale images and color images.
  • the depth image is image data obtained by reading and storing the distance between the sensor lens and each pixel of the target.
  • the target is a collection of individual pixels whose depth values are smoothed within a certain threshold. Therefore, the present invention performs multi-target segmentation based on the continuity characteristics of depth data.
  • a depth image based multi-object segmentation and tracking method is characterized in that the method comprises the following steps:
  • Step 1 collecting a multi-frame depth image
  • Step 2 performing background modeling based on the acquired multi-frame depth image
  • Step 3 Find and display the foreground based on the established background
  • Step 4 determining whether the foreground is the first discovery, if yes, proceeding to step 5, if no, proceeding to step 6;
  • Step 5 Multi-target segmentation of the discovered prospects
  • Step 6 Dynamically track the prospects found
  • Step 7 determining whether there is new depth image data input, and if yes, returning to step 2 Background modeling is performed on the input new depth image data, and if not, it ends.
  • the beneficial effects of the invention are as follows: the target segmentation is fast, the segmentation effect is superior, the tracking loss and the false tracking occur are low, the processing speed is fast, and the tracking precision is high.
  • the image segmentation data source has been expanded to make the research more open and diverse.
  • the invention has broad application prospects, plays an important role in computer image processing, pattern recognition, etc., and also provides application trends for computer three-dimensional application in segmentation and tracking.
  • FIG. 1 is a flow chart of a multi-objective segmentation and tracking method based on depth image proposed by the present invention.
  • FIG. 2 is a flow chart of a background modeling update module of the present invention.
  • 3 is a flow chart of the foreground discovery module of the present invention.
  • FIG. 4 is a flow chart of a neighborhood determination step in the target segmentation module of the present invention.
  • Figure 5 is a main flow chart of the target segmentation module of the present invention.
  • FIG. 6 is a main flow chart of the target dynamic tracking module of the present invention.
  • FIG. 7 is a flow chart of a locating process in the target dynamic tracking module of the present invention.
  • FIG. 8 is a flow chart of a step-by-step growth step in the target dynamic tracking module of the present invention.
  • FIG. 9 is a flow chart of the discovery area augmentation step in the target dynamic tracking module of the present invention.
  • the invention is based on the depth data continuity criterion of the depth image, performs multi-object segmentation on the acquired depth image and can dynamically track the target of interest.
  • FIG. 1 is a flowchart of a method for multi-objective segmentation and tracking based on a depth image according to the present invention.
  • the method for multi-target segmentation and tracking based on a depth image specifically includes the following steps:
  • the multi-frame depth image is a N depth image obtained by capturing the different active objects of interest under the premise of the same viewing angle of the sensor, where N is a positive integer greater than or equal to 2.
  • the method uses the collected depth image module 101 to collect a multi-frame depth image, and the acquired data stored in the depth image is depth information of a distance between the sensor lens and each target of interest within the shooting angle of view.
  • Step 2 Perform background modeling based on the acquired multi-frame depth image.
  • the background modeling update module 102 is used to segment all pixels of interest from the depth image.
  • the data source processed by the background modeling update module 102 is the multi-frame depth image data obtained in step 1. Therefore, by sequentially comparing the depth values of the upper and lower frame images of each pixel point according to the depth image data of the upper and lower frames, The larger of the comparison values of the depths of each pixel point, the larger depth value at each pixel point is taken as the current background data, thereby performing background modeling.
  • the background obtained by the background modeling update module 102 is continuously updated as the target moves, which effectively avoids the influence of noise and interference, thereby achieving better Target segmentation effects and more accurate dynamic tracking goals.
  • Step 3 Based on the established background, find and display the foreground.
  • the foreground discovery module 103 reads the depth image data of the current frame and compares it with the currently established background to find a pixel point that is smaller than the depth of the background pixel, and considers that all the found in the frame image is smaller than the depth of the background pixel.
  • the pixel is the foreground target of interest and displays the foreground target it is looking for.
  • Step 4 Determine whether the prospective target found is found for the first time. If yes, go to step 5, if no, go to step 6.
  • Judging the prospects of the discovery i.e., determining whether the prospects found are first discovered (block 104). If the foreground is first discovered, go to step 5, and use the target segmentation module 105 to segment the discovered foreground to achieve multi-target segmentation of the discovered foreground; if not for the first time, go to step 6, and directly use The target dynamic tracking module 106 performs tracking processing on the discovered foreground to achieve dynamic tracking of the target.
  • Step 5 Multi-target segmentation of the discovered prospects.
  • the target segmentation module 105 is used to segment the discovered foreground to implement the discovered
  • the foreground is multi-target segmentation.
  • the segmentation process adopts the growth method of the connected domain, that is, all the pixel points whose depth value changes of adjacent pixel points conform to the detection rule are classified into the same region, thereby achieving multi-target segmentation. Specifically, starting from a pixel point of the found foreground data, the region is grown in each direction, and all the pixels in the neighborhood of the pixel corresponding to the detection rule are classified into the same region.
  • the detection rule here means that if there are two pixel points, when the difference between the depth values of the two pixel points is greater than N (the value range of N is 5 to 20), the two are specified.
  • the depth value of the pixel is abrupt relative to the other party; if the difference between the two is less than or equal to N units, it is specified that the two pixels are not abrupt with respect to the other party, that is, the two pixels are opposite to each other. All are smooth transitions. This process is repeated until the pixel points of all the neighborhoods of the pixel are judged, and the region growing process is terminated to form a complete connected region. After all the pixels of the foreground are detected, a plurality of independent connected regions can be formed, and the independent connected regions are the target regions of interest.
  • Step 6 Dynamically track the prospects found.
  • the target dynamic tracking module 106 is used to dynamically track the discovered foreground.
  • the target dynamic tracking module 106 compares the foreground data of the current frame with the position range of the target obtained from the previous frame time of the current frame, finds the intersection of the two, and then takes the pixel points in the intersection.
  • the connected domain grows until the obtained intersection pixels are judged by the neighborhood, and the growth is suspended, and an independent connected region is obtained; the obtained independent connected region is subjected to boundary growth until all foreground pixels of the current frame After the points are all grown, a complete new growth area can be obtained to achieve the target tracking process.
  • Step 7. Determine whether there is new depth image data input. If yes, return to step 2 to perform background modeling on the input new depth image data. If not, the process ends.
  • step 107 determines whether there is new depth image data input. If there is data input, return to step 2, and re-background model loop processing to obtain the depth image. Data; if not, the process ends.
  • judgment module 107 determines whether there is new depth image data input. If there is data input, return to step 2, and re-background model loop processing to obtain the depth image. Data; if not, the process ends.
  • the main modules involved in the above steps are described in detail below.
  • Background Modeling Update Module 102 In the background modeling, the background data is initialized first, that is, the background data is set to 0, and then the depth image data is read to perform background modeling. Background modeling is a dynamic and constantly updating process. It requires constant reading of data and re-background modeling. The specific operations are as follows: Compare the depth value of each pixel of the current frame with the established background of the previous frame. The depth value of the corresponding pixel is taken as the background data of the corresponding pixel of the current frame at each pixel point. As shown in FIG. 2, the specific implementation process of background modeling includes the following steps:
  • Step 21 Enter multi-frame depth image data.
  • Step 22 Read depth image data of the current frame.
  • the captured depth image data is a video frame, even if the captured depth image data is read, it is a one-by-one depth data file, so the method of reading data according to the present invention is read in units of unit frames.
  • Step 23 Comparing the depth value of each pixel of the current frame with the depth value of each pixel corresponding to the background established by the previous frame, and taking the depth data of each of the two pixels as the background.
  • the background depth value of the corresponding pixel of the current frame can be obtained.
  • Step 24 Check if all the pixels have been updated, and if so, store and update the background data of the current frame, and if not, return to step 23 to re-establish the background.
  • Step 31 Read multi-frame depth image data.
  • Step 32 Find a difference pixel pair under certain conditions corresponding to the read data and the background data established in the previous frame.
  • a certain condition here is that the difference in depth distance between two pixel points is less than N units (1 ⁇ N ⁇ 21, N is a positive integer:). Finding a pixel pair of pixels needs to compare each pixel of the corresponding position of the depth data of the current frame with the depth data of the background established by the previous frame in turn, and then find a pixel pair that satisfies the above certain conditions.
  • Step 33 Take a smaller depth value of each pair of different pixel points as a foreground.
  • the current frame pixel having a smaller depth value in the difference pixel is taken as foreground data.
  • Step 34 displaying the foreground pixel (target).
  • the foreground display can be realized by displaying the pixel points different from the background that have been found.
  • the foreground shown here is only the difference pixel points obtained by comparison. These difference pixels are discrete and are not aggregated into a single whole, so the foreground display step 34 is prepared for subsequent multi-target segmentation. .
  • Target segmentation module 105
  • the target segmentation module 105 combines the individual pixel points found in the foreground into a whole and segments the different targets.
  • the target segmentation is the growth of the connected domain, and the growth of the connected domain is handled by the neighborhood judgment of the corresponding pixel. Therefore, multi-objective segmentation goes one step further and includes two steps: Step 51, Neighborhood Judgment; Step 52, Target Segmentation.
  • the neighborhood judging module is configured to determine whether each pixel point in the neighborhood position of a pixel is similar to the nature of the pixel, and classify the pixels with similar properties into the same whole.
  • the similarity property adopted by the present invention means that the depth values of the respective pixel points are relatively close, and the neighborhood 51 judgment further includes the following steps:
  • Step 511 taking a pixel (assuming pixel A) data in the foreground, and obtaining its (pixel point A) depth value.
  • Step 512 Read the depth values of the 4-neighbor pixel points (or 8-neighbor pixel points) Al, A2, A3, and A4 of the pixel A.
  • Step 513 Determine whether a depth value of each pixel in the neighborhood of the pixel A has a mutation with respect to the pixel A.
  • the depth values of the pixel points A are sequentially subtracted from the depth values of the pixels A1, A2, A3, and A4, and the respective differences are taken as absolute values. For example, if the absolute value
  • Step 514 Pixel pixels that have not undergone mutation are classified into the same neighborhood as a whole.
  • the pixels are not Pixels with sudden changes in point and depth values are grouped together. For example, if the pixel point A1 and the pixel point A4 are not abrupt, and the pixel point A2 and the pixel point A3 are abrupt, the pixel point A1 and the pixel point A4 are grouped together with the pixel point A, and the pixel point A2 and the pixel point A3 are excluded. outer.
  • Step 52 Goal segmentation goes one step further and includes the following steps:
  • Step 521 For any pixel in the foreground data, obtain all the pixels of the boundary of the neighborhood as a whole.
  • Any pixel in the foreground data (assuming pixel A) is subjected to neighborhood determination to obtain all the pixels of the boundary of the neighborhood as a whole.
  • the neighborhood is generally generated according to the combination of the neighborhood points of the pixel A and the pixel A without mutation according to the step 51 (when the neighborhood of the pixel A is a mutated pixel, then the pixel A is also viewed at this time) For a single whole).
  • Step 522 Perform neighborhood determination on each reference point by using a neighbor point newly added to the neighbor as a reference point, and expand the entire area of the neighborhood, and the pixel with no mutation in the neighborhood of each reference point is original.
  • the neighborhood as a whole regroups into a new neighborhood as a whole.
  • Step 523 determining whether there is no growing pixel, that is, all neighborhoods no longer have no mutation point, and if so, stop determining to obtain an independent neighborhood as a whole, and if not, returning Step 522 performs a neighborhood determination to determine whether there is no abrupt change point, and constitutes a new whole until there is no new growth pixel, so that a new neighborhood whole (target) can be obtained according to the step.
  • Step 524 Determine whether all foreground pixels have formed a new neighborhood as a whole, and if not, return to step 521 to take some remaining foreground data pixels for neighborhood determination, and if so, stop growing.
  • Step 525 ignoring the overall neighborhood of the number of pixels.
  • the target dynamic tracking is carried out on the premise that the target has been found, and the combination of the discovery point partial growth and the discovery area amplification is adopted, which effectively avoids the erroneous recognition or the tracking target in the tracking process.
  • the problem is that this method has efficient computing power.
  • the dynamic tracking step further includes the following steps:
  • Step 61 Read the data.
  • Step 62 Find one or more intersections between a location range of the target acquired at the previous frame time and foreground data of the current frame, and take N pixel points in the one or more intersections as a discovery point. , that is, point processing.
  • Step 63 Perform partial growth processing on the discovery point to obtain multiple discovery areas.
  • the partial growth process is: taking any discrete pixel points that do not form a connected region in the discovery point, and performing connectivity domain growth until the obtained discrete pixel points are all judged by the neighboring region, and the growth is suspended, and one can be obtained. Independent connected area.
  • Step 64 amplifying the discovery area.
  • the process of locating the processing further includes the following steps: Step 621: First, read the range of positions of each target in the previous frame;
  • Step 622 and then comparing the foreground of each pixel of the current frame to obtain respective pixels of the current foreground belonging to each target position range of the previous frame;
  • Step 623 and finally the current foreground image in the range of positions belonging to each target of the previous frame N points are taken for each of the prime points.
  • the number of targets obtained in the previous frame is M
  • each point in the original M target position range that belongs to the foreground of the current frame will be obtained. Positive integer).
  • step 63 the process of discovering the partial growth of the point further includes the following steps:
  • Step 631 first, for the discrete pixel points that do not form the connected region, the connected domain grows in the foreground range of the current frame;
  • Step 632 Determine whether the growth region exceeds the judgment position of the previous frame target position every time, that is, whether the newly increased region exceeds the position range of the corresponding target of the previous frame. If there is no overshoot, continue to grow and judge whether it is within the conforming area until it grows to the point of catastrophe or beyond the range of the target of the previous frame. If it exceeds, the growth of the target is stopped.
  • Step 633 and then judge whether all the discovered points have been completed. If not, return to step 631 to take the ungrowth point for the growth of the connected domain, and if so, suspend the growth.
  • step 64 the process of discovering the region amplification further includes the following steps:
  • Step 641 Find a set of foreground pixel points that have not been classified into any of the discovery regions, that is, a set of pixels obtained by subtracting all the pixels from the foreground pixels.
  • Steps 642 sequentially increase the boundary of the currently found discovery area.
  • Step 643 judging a new growth boundary point, if the newly added boundary point is within the set ⁇ , determining whether there is any remaining set ⁇ pixel, if yes, returning to step 642, if not, ending; If the new growth boundary point is not in the set A, then the newly added boundary point is not attributed to the discovery area, and then it is judged whether there are remaining set A pixel points, and if so, the return to step 642, if not, the end.
  • the method of using the set A of foreground pixels that have not been classified into any one of the growth regions effectively avoids the overlap in the region amplification and also reduces the amplification.
  • the range of pixels that need to be found makes the implementation more efficient.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度图像的多目标分割和跟踪方法，属于图像处理、模式识别和计算机应用等领域，该方法包括以下歩骤：采集深度图像；背景建模更新；背景发现；判断是否首次发现前景，若是首次发现前景，则进行目标分割；若不是首次发现前景，则进行目标动态跟踪；判断是否有数据输入，若有数据输入，则取新数据重新进行背景建模更新，若没有则结束。本发明通过高效的目标分割处理和目标动态跟踪处理，有效的提高了目标识别及跟踪的可靠性，为进一歩图像分析、动态建模、三维人机交互等后续处理提供了准备信息。

Description

一种基于深度图像的多目标分割和跟踪方法
技术领域 本发明涉及图像处理、 模式识别、 自动控制及计算机应用领域， 尤 其涉及一种基于深度图像的多目标分割与跟踪方法。
背景技术 图像分割是图像处理到图像分析的关键歩骤， 是目标跟踪的准备阶 段， 也是进一歩图像理解的基础。 所谓图像分割是指把图像分成各具特 性的区域并提取出感兴趣目标的技术和过程。 图像分割的应用广泛， 几 乎出现在有关图像处理的所有领域。 例如， 在遥感应用中， 不同云系背 景之间的分割， 植被、 道路、 桥梁、 水体间的分割等； 在医学应用中， 脑部 MR图像分割； 在交通图像分析中， 车辆从背景中的分割、 对车牌 的分割等； 在这些应用中， 分割通常是为了进一歩对图像进行分析、 识 别、 压缩编码等， 分割的准确性将直接影响后续任务的有效性。 因此， 分割的方法和精确度是至关重要的。
近几年来,研究人员不断改进原有方法并把其他学科的一些理论和 方法用于图像分割,提出了不少新的分割方法， 有分水岭分割技术、金字 塔分割技术以及均值漂移分割技术等技术、 遗传技术、 尺度空间、 多分 辨率方法、 非线性扩散方程等。 目前， 图像分割所采用的数据源主要为 灰度图像和彩色图像， 但都有着不可避免的缺点： 就灰度图像而言， 当 图像中灰度差异不明显或者各物体的灰度范围值有大部分重叠现象时， 往往难以得到准确的分割结果， 从而产生很多过分割错误； 而彩色图像 不仅包括亮度信息， 而且还有更多的有效信息， 如色调、 饱和度， 实际 上同样景物的灰度图像所包含的信息量与彩色图像难以相比， 人类对色 彩的感知更敏感， 一幅质量较差的彩色图像似乎比一幅完美的灰度图像 更具有吸引力，但其分割处理太过于复杂，实现也比灰度图像困难的多。
目标动态跟踪涉及了图像处理、 模式识别、 自动控制及计算机应用 领域，是计算机视觉和图像编码研究领域的一个重要课题，在军事武器、 工业监控、 交通管理等领域都有广泛的应用。 目标动态跟踪不仅需要完 成背景分割， 同时更得对目标进行识别， 实现动态定位识别， 同时， 背 景噪声和不特定的干扰等问题， 也是需要面临的需要克服的挑战性问题。
发明内容 为了解决灰度图像分割时分辨率低、 失误率大及彩色图像分割技术 复杂问题和跟踪过程的噪声等干扰问题， 本发明提供了基于深度图像的 多目标分割和跟踪方法， 提高了图像分割的效率， 且分割效果好， 同时 实现了目标的动态跟踪且可靠性高， 从而在图像处理和模式识别等方面 具有重要的作用。
本发明所处理的数据源是深度图像， 这与常见的灰度图像和彩色图 像有很大的不同。 深度图像是将传感器镜头与目标的各个像素点的距离 读取并储存而获得的图像数据。 在深度图像中， 目标是深度值在一定阈 值内平滑的各个像素点的集合。 故此， 本发明根据深度数据的连续性特 点进行多目标分割。
本发明是通过以下方法实现的， 本发明是基于深度图像的深度数据 连续性准则， 从而获得对图像进行多目标分割并且动态跟踪。 本发明所 提出的一种基于深度图像的多目标分割和跟踪方法， 其特征在于， 该方 法包括以下歩骤：
歩骤 1， 采集多帧深度图像；
歩骤 2， 基于采集到的多帧深度图像进行背景建模；
歩骤 3， 基于建立的背景， 寻找并显示前景；
歩骤 4， 判断该前景是否为首次发现， 若是， 则转到歩骤 5， 若否， 则转到歩骤 6;
歩骤 5， 对发现的前景进行多目标分割；
歩骤 6， 对发现的前景进行动态跟踪；
歩骤 7， 判断是否有新的深度图像数据输入， 若有， 则回到歩骤 2 对输入的新的深度图像数据进行背景建模， 若无， 则结束。
本发明的有益效果是： 目标分割快速， 分割效果优越， 跟踪丢失和 误跟踪发生概率低， 处理速度快， 具有较高的跟踪精度。 同时， 扩展了 图像分割数据源，使得研究更具开放性，多样性。本发明运用前景广泛， 在计算机图像处理， 模式识别等方面有着重要作用， 也为计算机三维应 用在分割与跟踪提供了应用趋势。
附图说明 图 1是本发明所提出的一种基于深度图像的多目标分割和跟踪方法 流程图。
图 2是本发明背景建模更新模块流程图。
图 3是本发明前景发现模块流程图。
图 4是本发明目标分割模块中邻域判断歩骤流程图。
图 5是本发明目标分割模块主流程图。
图 6是本发明目标动态跟踪模块主流程图。
图 7是本发明目标动态跟踪模块中寻点处理歩骤流程图。
图 8是本发明目标动态跟踪模块中发现点部分增长歩骤流程图。 图 9是本发明目标动态跟踪模块中发现区域扩增歩骤流程图。
具体实施方式 为使本发明的目的、 技术方案和优点更加清楚明白， 以下结合具体 实施例， 并参照附图， 对本发明进一歩详细说明。
本发明是基于深度图像的深度数据连续性准则， 对所获取的深度图 像进行多目标分割并且能够对感兴趣的目标进行动态跟踪。
图 1为本发明所提出的基于深度图像的多目标分割和跟踪方法流程 图， 如图 1所示， 所述基于深度图像的多目标分割和跟踪方法具体包括 以下歩骤： 所述多帧深度图像为传感器在相同视角的前提下， 对不同的感兴趣 的活动目标进行拍摄获取的 N张深度图像，其中 N为大于等于 2的正整 数。 该歩骤使用采集深度图像模块 101采集多帧深度图像， 所获取的深 度图像所储存的数据是传感器镜头与拍摄视角内各个感兴趣的目标的 距离的深度信息。
歩骤 2， 基于采集到的多帧深度图像进行背景建模。
使用背景建模更新模块 102将感兴趣的所有像素点从深度图像中分 割出来。 背景建模更新模块 102所处理的数据源是歩骤 1获得的多帧深 度图像数据， 因此， 通过根据上下帧的深度图像数据， 依次对比每个像 素点的上下帧图像的深度值， 求出每个像素点深度的比较值中的较大值， 取每个像素点上较大的深度值作为当前背景数据， 从而进行背景建模。 在下文提到的目标动态跟踪过程中， 随着目标的移动， 背景建模更新模 块 102建模所得到的背景是不断更新的， 这有效地避免了噪声的影响和 干扰， 从而达到了更好的目标分割效果和更准确的动态跟踪目标。
歩骤 3， 基于建立的背景， 寻找并显示前景。
前景发现模块 103通过读取当前帧的深度图像数据， 将其与当前建 立好的背景相对比， 寻找比背景像素点深度小的像素点， 认为该帧图像 中所有找到的比背景像素点深度小的像素点是感兴趣的前景目标， 并将 所寻找到的前景目标显示出来。
歩骤 4， 判断是否为首次发现所找到的前景目标， 若是， 则转到歩 骤 5， 若否， 则转到歩骤 6。
对发现的前景进行判断， 即判断发现的前景是否为首次发现 （模块 104)。 若是首次发现前景， 则转到歩骤 5， 利用目标分割模块 105对发 现的前景进行分割处理， 实现对发现的前景进行多目标分割； 若不是首 次发现前景， 则转到歩骤 6， 直接利用目标动态跟踪模块 106对发现的 前景进行跟踪处理， 实现目标的动态跟踪。
歩骤 5， 对发现的前景进行多目标分割。
利用目标分割模块 105对发现的前景进行分割处理， 实现将发现的 前景进行多目标分割。 这里分割处理采用连通域的增长方法， 即将相邻 像素点的深度值变化符合检测规则的所有像素点归为同一区域， 从而达 到多目标分割。 具体地， 从发现的前景的数据中任取一像素点开始， 向 各个方向生长区域， 将此像素点的邻域中所有的符合检测规则的像素点 与此像素点归为同一区域。 需要说明的是， 这里检测规则是指， 若有两 个像素点， 当这两个像素点的深度值大小之差大于 N (N的取值范围为 5〜20)单位，则规定这两个像素点的深度值相对于对方而言是突变的； 若二者的差小于或等于 N单位，则规定这两像素点相对于对方是没有突 变的， 也就是说这两个像素点相对于对方都是平滑过渡的。 重复这一过 程， 直到该像素点的所有邻域的像素点都判断完毕后， 区域增长过程终 止， 形成一个完整的连通区域。 所有前景的像素点检测完毕后， 就可以 形成若干个独立的连通区域， 而这一个个独立的连通区域就是所感兴趣 的目标区域。
歩骤 6， 对发现的前景进行动态跟踪。
利用目标动态跟踪模块 106对发现的前景进行动态跟踪。 目标动态 跟踪模块 106是利用相对于当前帧的上一帧时刻所获取的目标的位置范 围， 与当前帧的前景数据进行对比， 找出二者的交集， 然后在交集中任 取像素点， 进行连通域增长， 直到所得到的交集像素点都进行邻域判断 完毕， 暂停增长， 可得到一个个独立的连通区域； 将所得到的独立连通 区域进行边界增长， 直到当前帧的所有的前景的像素点都增长完毕后， 可得到完整的新的增长区域， 从而实现目标跟踪处理。
歩骤 7， 判断是否有新的深度图像数据输入， 若有， 则回到歩骤 2 对输入的新的深度图像数据进行背景建模， 若无， 则结束。
为了保证数据能够持续的循环处理， 因此， 需要判断是否有新的深 度图像数据输入 （判断模块 107 )， 若有数据输入， 则回到歩骤 2， 重新 背景建模循环处理所获取的深度图像数据； 若没有， 则处理结束。 下面对上述歩骤中涉及的各个主要模块进行详细描述。
1、 背景建模更新模块 102 在背景建模时， 先进行背景数据初始化， 即将背景数据设为 0， 然 后再开始读取深度图像数据进行背景建模。 背景建模是一个动态的不断 更新的过程， 需要不断的读取数据判断并重新进行背景建模， 具体操作 如下： 对比当前帧的每个像素点的深度值与上一帧的所建立的背景的相 应像素点的深度值， 在每个像素点上取二者对比中较大的深度值为当前 帧的相应像素点的背景数据。 如图 2所示， 背景建模的具体实现过程进 一歩包括以下歩骤：
歩骤 21， 输入多帧深度图像数据。
数据输入歩骤中所采用的数据有两种来源： 一是传感器在同一视角 下拍摄的实时的深度图像数据； 二是已经拍摄并储存的同一视角下的深 度图像数据。
歩骤 22， 读取当前帧的深度图像数据。
由于所拍取的深度图像数据是视频帧， 即使是读取已拍摄好的深度 图像数据， 也是一个个的深度数据文件， 所以本发明读取数据的方式是 以单位帧为单位读取的。
歩骤 23，对比当前帧的各像素点的深度值与上一帧所建立的背景相 应的各像素点的深度值， 将这二者中各个像素点上较大值的深度数据取 为背景， 即可得到当前帧的相应像素点的背景深度值。
歩骤 24， 检查是否所有的像素点都已更新， 若是， 储存并更新当前 帧的背景数据， 若否， 则返回歩骤 23重新建立背景。
2、 前景发现模块 103
对比当前帧的深度图像数据与上一帧所建立的背景数据， 求出二者 在每个相对应的像素点的差， 并找出差值满足一定条件的各个像素点的 位置坐标， 找出所得到的各个像素点的位置坐标在当前帧的数据， 则这 些所得到的数据组成的数组为前景数据。 这里的一定条件是指两个像素 点的深度距离的差小于 N单位 (1<N<21,N为正整数:)。此过程与背景建模 相类似， 在背景建模中所得到的数据是各个像素点相对应的位置上的较 大深度值， 而前景发现所得到的是各个像素点相对应的位置上的深度较 小值。 如图 3所示， 发现前景的具体实现过程进一歩包括以下歩骤： 歩骤 31， 读取多帧深度图像数据。
读取数据的方式是以单位帧为单位读取的， 数据类型都是深度数据。 歩骤 32，找出所读取的数据与上一帧建立的背景数据相应位置上在 一定条件下的差异像素点对。
这里的一定条件是指两个像素点的深度距离的差小于 N 单位 (1<N<21,N为正整数：)。寻找差异像素点对需要依次对比当前帧的深度数 据与上一帧所建立的背景的深度数据的相应位置的每个像素点， 然后找 出满足上述一定条件的像素点对。
歩骤 33， 将每对差异像素点的较小深度值取为前景。
由于背景到传感器的距离大于前景到传感器的距离， 所以差异像素 点中深度值较小的当前帧像素点取为前景数据。
歩骤 34， 显示前景像素点 （目标）。
将已求出的不同于背景的像素点显示出， 就可以实现前景显示。 这 里显示的前景只是根据对比求出的差异像素点， 这些差异像素点都是离 散的， 并没有集合成一个个独立的整体， 所以前景显示歩骤 34 是为了 后续的多目标分割做好了准备。
3、 目标分割模块 105
目标分割模块 105将前景发现的各个像素点组合成整体并分割出不 同目标。 这里目标分割是利用连通域的增长， 而连通域的增长是利用对 相应像素点的邻域判断来处理。 因此， 多目标分割又进一歩包括两个歩 骤： 歩骤 51， 邻域判断； 歩骤 52， 目标分割。
如图 4所示， 邻域判断模块用于判断一个像素点的邻域位置上各个 像素点是否与这像素点的性质相似， 并把这些性质相似的像素点归为同 一整体。 本发明所采用的相似性质指的是各个像素点的深度值比较相近， 歩骤 51邻域判断又进一歩包括以下歩骤：
歩骤 511， 在前景中任取一个像素点 （假设为像素点 A) 数据， 得 到其 （像素点 A) 深度值。
歩骤 512， 读取该像素点 A的 4-邻域像素点 （或者 8-邻域像素点） Al、 A2、 A3、 A4的深度值。 歩骤 513， 判断该像素点 A邻域中各像素点的深度值相对于像素点 A是否有突变。
依次将像素点 A的深度值减去像素点 Al、 A2、 A3、 A4的深度值， 并将各自所得到的差值取绝对值。 比如， 假设绝对值 |A-A1|小于设定值 (N单位， 4<N<21 )， 则可知像素点的邻域点 A1 的深度值与像素点 A 深度值对比， 像素点 A1没有发生突变， 反之则反。 同理， 像素点 A2、 A3、 A4也是如此判断。
歩骤 514， 将没有发生突变的像素点划为同一邻域整体。
若像素点 A有某几个邻域点深度值相对于像素点 A没有发生突变， 则将像素点 A的这几个邻域点与像素点 A划为同一整体，反之，则不将 这些像素点与深度值有突变的像素点归为同一整体。比如，像素点 Al、 像素点 A4没有突变， 像素点 A2、 像素点 A3有突变， 则将像素点 Al、 像素点 A4同像素点 A归为同一整体， 而把像素点 A2、 像素点 A3排除 在外。
如图 5所示， 目标分割模块 105是利用连通域的增长进行处理的， 以单独像素点为基本参考点进行扩充， 逐渐增长为一块块独立区域， 则 所增长的独立区域就是分辨出来的目标， 歩骤 52 目标分割又进一歩包 括以下歩骤：
歩骤 521， 对于前景数据中的任一像素点， 得到其邻域整体的边界 的所有像素点。
任取前景数据中的一像素点 （假设为像素点 A) , 对该像素点进行 邻域判断， 得到所述邻域整体的边界的所有像素点。 该邻域整体根据歩 骤 51由像素点 A和像素点 A无突变的邻域点组合产生而成 (当像素点 A的邻域点都是突变的像素点，则此时亦视像素点 A为单独一个整体）。
歩骤 522， 以新加入邻域整体的邻域点作为基准点， 对各个基准点 进行邻域判断， 来扩大邻域整体区域， 将各个基准点的邻域中无突变的 像素点与原来的邻域整体重新组成一个新的邻域整体。
歩骤 523， 判断是否已无增长像素点， 即所有邻域判断都不再有无 突变点， 若是， 则停止判断得到一个独立的邻域整体， 若不是， 则返回 歩骤 522进行邻域判断有无扩增无突变点， 组成新整体， 直到已无新增 长像素点， 这样就可以根据该歩骤得到一个新的邻域整体 （目标）。
歩骤 524， 判断是否所有的前景像素点都已组成新的邻域整体， 若 不是则返回歩骤 521任取某剩余前景数据像素点，进行邻域判断，若是， 则停止增长。
歩骤 525， 忽略像素点数目极少的邻域整体。
判断是否有邻域整体的像素点数目极少 （小于检测规则设定的值）， 若有， 则忽略这些邻域整体。
4、 目标动态跟踪模块 106
如图 6所示， 目标动态跟踪是在已发现目标的前提下进行的， 采取 了发现点部分增长与发现区域扩增相结合的方式， 有效避免了跟踪过程 中错误的识别或者无法跟踪目标等难题， 此方法具有高效的运算能力。 动态跟踪歩骤进一歩包括以下几个歩骤：
歩骤 61， 读取数据。
歩骤 62，找出上一帧时刻所获取的目标的位置范围与当前帧的前景 数据之间的一个或多个交集，在所述一个或多个交集中取出 N个像素点， 作为发现点， 即寻点处理。
歩骤 63， 对所述发现点进行部分增长处理， 得到多个发现区域。 部 分增长处理为： 在所述发现点中任取一个未形成连通区域的离散的像素 点， 进行连通域增长， 直到所得到的离散像素点都进行邻域判断完毕， 暂停增长， 可得到一个个独立的连通区域。
歩骤 64， 扩增发现区域。 如图 7所示，歩骤 62，寻点处理的过程又进一歩包括以下几个歩骤： 歩骤 621， 先读取上一帧各个目标的位置范围；
歩骤 622， 然后对比当前帧的各个像素点的前景， 得到属于上一帧 各个目标位置范围的当前前景各个像素点；
歩骤 623， 最后在属于上一帧各个目标的位置范围内的当前前景像 素点集合中各任取 N点。 比如： 假设上一帧得到的目标个数为 M， 将在 这原有的 M个目标位置范围内各任取仍属于当前帧的前景的 N点， 则 可得到 ΝχΜ点 （Ν， Μ均为正整数）。
如图 8所示， 歩骤 63， 发现点部分增长的过程又进一歩包括以下几 个歩骤：
歩骤 631， 先对未形成连通区域的离散的像素点在当前帧的前景范 围内进行连通域的增长；
歩骤 632， 每增长一次进行增长区域是否超越上一帧目标位置的判 断处理， 即判断新增长的区域是否超越上一帧相应目标的位置范围。 如 果没有超越， 则继续增长并判断是否在符合的区域内， 直到增长到突变 点或者超越上一帧目标的位置范围， 如果超越， 则停止这个目标该位置 的增长。
歩骤 633， 然后判断是否所有发现点都增长完毕,若不是， 返回歩骤 631取未增长点进行连通域的增长， 若是， 则暂停增长。
如图 9所示， 歩骤 64， 发现区域扩增的过程又进一歩包括以下几个 歩骤：
歩骤 641，查找还未被归入任何一个发现区域的前景像素点集合 Α, 即将所有前景像素点减去所有已增长像素点而得到的像素点的集合。
歩骤 642， 依次对目前所得到的发现区域进行边界增长。
歩骤 643， 对新增长的边界点进行判断， 若新增长的边界点在集合 Α内则进行判断是否还有剩余的集合 Α像素点， 若有， 返回歩骤 642， 若无， 结束； 若新增长的边界点不在集合 A内， 则不将新增长的边界点 归于此发现区域， 然后再判断是否还有剩余的集合 A像素点， 若有， 返 回歩骤 642， 若无， 结束。
在歩骤 64 发现区域扩增中， 利用了还未被归入任何一个增长区域 的前景像素点的集合 A这个方法，有效地避免了区域扩增时发生重叠的 情形， 同时也缩小了扩增所需要查找的像素点的范围， 使实现的效率变 高。 以上所述的具体实施例， 对本发明的目的、 技术方案和有益效果进 行了进一歩详细说明， 所应理解的是， 以上所述仅为本发明的具体实施 例而已， 并不用于限制本发明， 凡在本发明的精神和原则之内， 所做的 任何修改、 等同替换、 改进等， 均应包含在本发明的保护范围之内。

Claims

权 利 要 求
1、 一种基于深度图像的多目标分割和跟踪方法， 其特征在于， 该 方法包括以下歩骤：
歩骤 1， 采集多帧深度图像；
歩骤 2， 基于采集到的多帧深度图像进行背景建模；
歩骤 3， 基于建立的背景， 寻找并显示前景；
歩骤 4， 判断该前景是否为首次发现， 若是， 则转到歩骤 5， 若否， 则转到歩骤 6;
歩骤 5， 对发现的前景进行多目标分割；
歩骤 6， 对发现的前景进行动态跟踪；
歩骤 7， 判断是否有新的深度图像数据输入， 若有， 则回到歩骤 2 对输入的新的深度图像数据进行背景建模， 若无， 则结束。
2、 根据权利要求 1 所述的方法， 其特征在于， 所述多帧深度图像 为传感器在相同视角下拍摄得到的 N张深度图像，其中 N为大于等于 2 的正整数。
3、 根据权利要求 1 所述的方法， 其特征在于， 所述深度图像所储 存的数据是传感器镜头与拍摄视角内各个感兴趣的目标的距离的深度 自
4、 根据权利要求 1 所述的方法， 其特征在于， 所述背景建模进一 歩为： 对比上下帧深度图像的各个像素点的深度数据， 取各个像素点上 较大的深度值作为背景数据。
5、 根据权利要求 1 所述的方法， 其特征在于， 所述寻找前景进一 歩为： 对比当前帧的深度图像数据与当前所建立的背景数据， 当前帧的 深度图像中比背景像素点深度小于一阈值的像素点的集合， 即为该帧图 像中感兴趣的前景目标。
6、 根据权利要求 1所述的方法， 其特征在于， 所述歩骤 5进一歩 为： 通过连通域增长方法对发现的前景进行多目标分割， 即通过将邻域 像素点中深度值大小相差在一定阈值内的两个及以上的像素点归为同 一区域， 由此不断进行连通域增长， 得到各个不同的独立目标。
7、 根据权利要求 1所述的方法， 其特征在于， 所述歩骤 6进一歩 包括以下歩骤：
歩骤 61， 读取数据；
歩骤 62，找出上一帧时刻所获取的目标的位置范围与当前帧的前景 数据之间的一个或多个交集，在所述一个或多个交集中取出 N个像素点， 作为发现点， 其中， N为正整数；
歩骤 63， 对所述发现点进行部分增长处理， 得到多个发现区域； 歩骤 64， 扩增所述发现区域。
8、 根据权利要求 7所述的方法， 其特征在于， 歩骤 63中对所述发 现点进行部分增长处理进一歩为： 在所述发现点中任取一个未形成连通 区域的离散的像素点， 在当前帧的前景范围内进行连通域增长， 直到所 得到的离散像素点都进行邻域判断完毕， 暂停增长， 得到一个个独立的 连通区域。
9、 根据权利要求 8所述的方法， 其特征在于， 对未形成连通区域 的离散的像素点， 进行连通域增长进一歩包括： 每增长一次就判断新增 长的区域是否超越上一帧相应目标的位置范围， 如果没有超越， 则继续 增长并判断是否在符合的区域内， 直到增长到突变点或者超越上一帧目 标的位置范围； 如果超越， 则停止增长。
10、 根据权利要求 1所述的方法， 其特征在于， 歩骤 64进一歩包 括以下歩骤：
歩骤 641，查找还未被归入任何一个发现区域的前景像素点集合 A; 歩骤 642， 依次对目前所得到的发现区域进行边界增长；
歩骤 643， 对新增长的边界点进行判断， 若新增长的边界点在集合 A内则判断是否还有剩余的集合 A像素点，若有，返回歩骤 642，若无， 结束； 若新增长的边界点不在集合 A内， 则不将新增长的边界点归于此 发现区域， 然后再判断是否还有剩余的集合 A像素点， 若有， 返回歩骤 642， 若无， 结束。
PCT/CN2012/077870 2011-12-22 2012-06-29 一种基于深度图像的多目标分割和跟踪方法 WO2013091369A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201110435843.0 2011-12-22
CN201110435843.0A CN102609934B (zh) 2011-12-22 2011-12-22 一种基于深度图像的多目标分割和跟踪方法

Publications (1)

Publication Number Publication Date
WO2013091369A1 true WO2013091369A1 (zh) 2013-06-27

Family

ID=46527280

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2012/077870 WO2013091369A1 (zh) 2011-12-22 2012-06-29 一种基于深度图像的多目标分割和跟踪方法

Country Status (2)

Country Link
CN (1) CN102609934B (zh)
WO (1) WO2013091369A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104008373A (zh) * 2014-06-03 2014-08-27 西安电子科技大学 基于多信息字典学习的sar目标识别方法
CN108665487A (zh) * 2017-10-17 2018-10-16 国网河南省电力公司郑州供电公司 基于红外和可见光融合的变电站作业对象和目标定位方法
CN111247526A (zh) * 2020-01-02 2020-06-05 香港应用科技研究院有限公司 使用迭代模板匹配的目标跟踪方法及***
CN112819840A (zh) * 2021-02-24 2021-05-18 北京航空航天大学 一种融合深度学习与传统处理的高精度图像实例分割方法
CN113313042A (zh) * 2021-06-08 2021-08-27 成都鼎辉智慧农业科技有限公司 一种图像处理方法、摄食状态检测方法及存储介质
US11164319B2 (en) 2018-12-20 2021-11-02 Smith & Nephew, Inc. Machine learning feature vector generator using depth image foreground attributes
CN114659450A (zh) * 2022-03-25 2022-06-24 北京小米移动软件有限公司 机器人跟随方法、装置、机器人及存储介质

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104036483B (zh) * 2013-03-06 2021-01-15 北京三星通信技术研究有限公司 图像处理***和图像处理方法
CN103514609B (zh) * 2013-07-06 2016-03-09 中国科学技术大学 一种基于反馈的运动物体分割的图像处理方法
CN105095832A (zh) * 2014-05-06 2015-11-25 夏普株式会社 对实景图像中的字符进行识别的方法和设备
CN105225230B (zh) * 2015-09-11 2018-07-13 浙江宇视科技有限公司 一种识别前景目标对象的方法及装置
CN106022386B (zh) * 2016-05-26 2019-04-30 北京新长征天高智机科技有限公司 一种计算机识别与人工交互结合的生活垃圾目标识别***
CN106067021B (zh) * 2016-05-26 2019-05-24 北京新长征天高智机科技有限公司 一种人工辅助的生活垃圾目标识别***
US10419741B2 (en) * 2017-02-24 2019-09-17 Analog Devices Global Unlimited Company Systems and methods for compression of three dimensional depth sensing
CN108573256A (zh) * 2017-03-14 2018-09-25 山东鲁能智能技术有限公司 一种变电站压板设备状态识别方法及装置
CN109254579B (zh) * 2017-07-14 2022-02-25 上海汽车集团股份有限公司 一种双目视觉相机硬件***、三维场景重建***及方法
CN107742296A (zh) * 2017-09-11 2018-02-27 广东欧珀移动通信有限公司 动态图像生成方法和电子装置
CN109598753B (zh) * 2018-11-28 2021-02-19 联想(北京)有限公司 图像处理方法及装置
CN109784164B (zh) * 2018-12-12 2020-11-06 北京达佳互联信息技术有限公司 前景识别方法、装置、电子设备及存储介质
CN110262731A (zh) * 2019-05-29 2019-09-20 阿里巴巴集团控股有限公司 一种交互***的输入信息获取方法、装置及电子设备
CN112396688B (zh) * 2019-08-14 2023-09-26 杭州海康威视数字技术股份有限公司 一种三维虚拟场景的生成方法及装置
CN111507933B (zh) * 2019-12-16 2023-08-01 曲阜师范大学 基于空洞和轮廓扩增的dibr合成图像质量评价方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100278384A1 (en) * 2009-05-01 2010-11-04 Microsoft Corporation Human body pose estimation
CN102063725A (zh) * 2010-12-30 2011-05-18 Tcl集团股份有限公司 一种基于深度信息的多目标跟踪方法
CN102196280A (zh) * 2010-02-15 2011-09-21 索尼公司 方法、客户端设备和服务器
CN102262725A (zh) * 2010-05-31 2011-11-30 普莱姆森斯有限公司 三维场景的分析

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7397937B2 (en) * 2001-11-23 2008-07-08 R2 Technology, Inc. Region growing in anatomical images
CN101453660B (zh) * 2007-12-07 2011-06-08 华为技术有限公司 一种视频目标跟踪方法和装置
CN101464952A (zh) * 2007-12-19 2009-06-24 中国科学院自动化研究所 基于轮廓的异常行为识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100278384A1 (en) * 2009-05-01 2010-11-04 Microsoft Corporation Human body pose estimation
CN102196280A (zh) * 2010-02-15 2011-09-21 索尼公司 方法、客户端设备和服务器
CN102262725A (zh) * 2010-05-31 2011-11-30 普莱姆森斯有限公司 三维场景的分析
CN102063725A (zh) * 2010-12-30 2011-05-18 Tcl集团股份有限公司 一种基于深度信息的多目标跟踪方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104008373A (zh) * 2014-06-03 2014-08-27 西安电子科技大学 基于多信息字典学习的sar目标识别方法
CN108665487A (zh) * 2017-10-17 2018-10-16 国网河南省电力公司郑州供电公司 基于红外和可见光融合的变电站作业对象和目标定位方法
CN108665487B (zh) * 2017-10-17 2022-12-13 国网河南省电力公司郑州供电公司 基于红外和可见光融合的变电站作业对象和目标定位方法
US12039737B2 (en) 2018-12-20 2024-07-16 Smith & Nephew, Inc. Machine learning feature vector generator using depth image foreground attributes
US11164319B2 (en) 2018-12-20 2021-11-02 Smith & Nephew, Inc. Machine learning feature vector generator using depth image foreground attributes
US11688075B2 (en) 2018-12-20 2023-06-27 Smith & Nephew, Inc. Machine learning feature vector generator using depth image foreground attributes
CN111247526B (zh) * 2020-01-02 2023-05-02 香港应用科技研究院有限公司 跟踪二维平面上移动的目标物***置和方向的方法和***
CN111247526A (zh) * 2020-01-02 2020-06-05 香港应用科技研究院有限公司 使用迭代模板匹配的目标跟踪方法及***
CN112819840A (zh) * 2021-02-24 2021-05-18 北京航空航天大学 一种融合深度学习与传统处理的高精度图像实例分割方法
CN113313042B (zh) * 2021-06-08 2024-01-05 成都鼎辉智慧农业科技有限公司 一种图像处理方法、摄食状态检测方法及存储介质
CN113313042A (zh) * 2021-06-08 2021-08-27 成都鼎辉智慧农业科技有限公司 一种图像处理方法、摄食状态检测方法及存储介质
CN114659450A (zh) * 2022-03-25 2022-06-24 北京小米移动软件有限公司 机器人跟随方法、装置、机器人及存储介质
CN114659450B (zh) * 2022-03-25 2023-11-14 北京小米机器人技术有限公司 机器人跟随方法、装置、机器人及存储介质

Also Published As

Publication number Publication date
CN102609934A (zh) 2012-07-25
CN102609934B (zh) 2014-04-23

Similar Documents

Publication Publication Date Title
WO2013091369A1 (zh) 一种基于深度图像的多目标分割和跟踪方法
Fang et al. A novel hybrid approach for crack detection
CN107038717B (zh) 一种基于立体栅格自动分析3d点云配准误差的方法
Chen et al. An Apple Detection Method Based on Des‐YOLO v4 Algorithm for Harvesting Robots in Complex Environment
CN111781608B (zh) 一种基于fmcw激光雷达的运动目标检测方法及***
CN102982537B (zh) 一种检测场景变换的方法和***
CN111199556B (zh) 基于摄像头的室内行人检测和跟踪方法
CN111797836B (zh) 一种基于深度学习的地外天体巡视器障碍物分割方法
CN106600965B (zh) 基于尖锐度的交通流早晚高峰时段自动识别方法
CN104881029A (zh) 基于一点ransac和fast算法的移动机器人导航方法
Bakkay et al. Dense 3D SLAM in dynamic scenes using Kinect
CN103646257A (zh) 一种基于视频监控图像的行人检测和计数方法
CN104268520A (zh) 一种基于深度运动轨迹的人体动作识别方法
CN104715251A (zh) 一种基于直方图线性拟合的显著目标检测方法
CN106228570A (zh) 一种真值数据确定方法和装置
CN114358246A (zh) 三维点云场景的注意力机制的图卷积神经网络模块
CN103714517A (zh) 视频去雨方法
CN105303544A (zh) 一种基于最小边界距离的视频拼接方法
CN107564045B (zh) 基于梯度域引导滤波的立体匹配方法
CN104240268B (zh) 一种基于流形学习与稀疏表示的行人跟踪方法
CN112200831B (zh) 一种基于动态模板的密集连接孪生神经网络目标跟踪方法
CN106447685B (zh) 一种红外跟踪方法
CN114511803A (zh) 一种面向视觉跟踪任务的目标遮挡检测方法
CN114022520A (zh) 一种基于卡尔曼滤波与孪生网络的机器人目标跟踪方法
CN111724409A (zh) 一种基于密集连接孪生神经网络的目标跟踪方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12859062

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12859062

Country of ref document: EP

Kind code of ref document: A1