WO2010124497A1 - 一种运动检测方法、装置和*** - Google Patents

一种运动检测方法、装置和*** Download PDF

Info

Publication number
WO2010124497A1
WO2010124497A1 PCT/CN2009/075257 CN2009075257W WO2010124497A1 WO 2010124497 A1 WO2010124497 A1 WO 2010124497A1 CN 2009075257 W CN2009075257 W CN 2009075257W WO 2010124497 A1 WO2010124497 A1 WO 2010124497A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
target
detected
point
scene
Prior art date
Application number
PCT/CN2009/075257
Other languages
English (en)
French (fr)
Inventor
刘微
胡硕
刘韶
Original Assignee
青岛海信数字多媒体技术国家重点实验室有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 青岛海信数字多媒体技术国家重点实验室有限公司 filed Critical 青岛海信数字多媒体技术国家重点实验室有限公司
Priority to AU2009311052A priority Critical patent/AU2009311052B2/en
Priority to US12/745,416 priority patent/US8385595B2/en
Priority to EP09825631.6A priority patent/EP2426642B1/en
Publication of WO2010124497A1 publication Critical patent/WO2010124497A1/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/285—Analysis of motion using a sequence of stereo image pairs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Definitions

  • the present invention relates to the field of video image processing, and in particular, to a motion detection method, apparatus, and passenger flow detection system.
  • the automatic passenger flow information statistics system can facilitate the operation of the company to adjust the line, and Reasonable allocation of vehicle resources.
  • the statistics of traditional automatic passenger flow information use the infrared occlusion system and the pressure sensing system. When the object passes through the system, the light is occluded, and the number of objects passing through the infrared occlusion system is counted. This method cannot accurately target the flow of passengers. Timely statistics, especially when the congestion at the peak of passenger flow is severe, and the application site of the system is limited.
  • the prior art 1 provides a statistical method for bus passenger flow based on stereo vision.
  • a feature of using a point to the camera in the scene to be detected is combined with the characteristics of the monocular image.
  • the identification technology realizes the detection of the human head, thereby completing the method of passenger flow information statistics.
  • Figure 1 when extracting a circular object from a monocular image, there are a large number of pseudo-circles, and then some pseudo-circles are removed by some algorithmic criteria, so that each person's head corresponds to a circle, and the number of circles is The calculations achieve statistics on the number of passengers.
  • the prior art 2 provides a method for determining a moving target by using motion detection technology.
  • the method mainly includes: acquiring a depth image of a detection scene, establishing and initializing a Gaussian background of the depth image. a model, determining a pixel of the moving object in the depth image according to the Gaussian background model
  • the prior art only utilizes the depth information of the scene including the object to be detected, and the feature information of the two-dimensional image is the main means, the depth information. It is only used to assist in the removal of pseudo-circles. This method cannot completely remove the pseudo-circles, and the detection accuracy is not high.
  • the statistical results of the passenger flow are not accurate.
  • the method provided in the prior art 2 only uses the depth information of the scene including the target to be detected, and needs to utilize a large number of Gaussian statistics and judgment model formulas, the calculation amount is very large, and the algorithm needs to update the Gaussian background model in time, but when the passenger flow When the data is dense, the background update will be invalid and the target detection will not be possible. And when the passenger flow is intensive, the method will cause multiple targets to "stick" together, resulting in the detection area being inseparable and affecting the statistics of the target information. Summary of the invention
  • embodiments of the present invention provide a method, apparatus and system for motion detection for reducing computational complexity in motion detection and realizing detection of high-precision targets in complex scenarios.
  • the embodiment of the present invention provides a motion detection method, where the method includes: acquiring detection information of a background scene and detection information of a current scene, where the current scene is a scene including a target to be detected and a same background scene;
  • the target to be detected is calculated according to the detection information of the background scene and the detection information of the current scene.
  • the object to be detected is calculated by subtracting the detection information of the background scene from the detection information of the current scene;
  • Subtracting the background scene from the product of the detection information of the current scene and the first weight value obtains initial detection target detection information; and the to-be-detected target is calculated by the initial to-be-detected target detection information and the compensation coefficient.
  • the detection information is a parallax image, and further includes:
  • a matching point of the first image key point (a, b) in the second image is determined according to the matching value. Further, it also includes:
  • the next scanning point after the key point of the first image is used as a reference point, and the row coordinates and the column coordinates of the key point and the reference point in the first image are respectively and 1), a and d;
  • An image edge point of the first image and the second image is extracted as the key point, and the first image and the second image are binocular images of the scene.
  • Stereo matching of the first image key and the second image key is performed using Census criteria; the parallax image is acquired according to a disparity of the first image key point using a normalized cross-correlation criterion.
  • the detection information is a depth image, and further includes:
  • the obtaining of the object to be detected further includes determining an initial target to be detected; removing the pseudo target in the initial object to be detected according to the anti-counterfeiting strategy, and determining a valid target to be detected.
  • the detection information is a parallax image or a depth image, and further includes:
  • the target parallax/depth image is obtained by the detection information of the background scene and the detection information of the current scene.
  • the anti-counterfeiting strategy includes:
  • the initial target to be detected is a valid target, and if not, the initial to be detected
  • the target is a pseudo target
  • the target objPoint[maxN] having the largest disparity/depth mean in the predetermined window centered on the initial to-be-detected target in the target disparity/depth image is obtained, and all the initial to-be-detected are calculated.
  • the Euclidean distance between the target and the target objPoint[maxN] when the Euclidean distance between the initial target to be detected and the target objPoint[maxN] is not less than the distance threshold, the initial target to be detected is a valid target to be detected, otherwise, The initial target to be detected is a pseudo target, where maxN is the The sequence number of the target with the largest parallax/depth mean; and,
  • the initial target to be detected is a valid target to be detected; otherwise, the initial target to be detected is a pseudo target.
  • the embodiment of the present invention further provides a motion detecting apparatus, where the apparatus includes: a detecting information acquiring unit, configured to acquire detection information of a background scene and detection information of a current scene, where the current scene includes a to-be-detected The target and the scene of the same background scene;
  • the target detecting unit is configured to calculate the to-be-detected target according to the detection information of the background scene and the detection information of the current scene.
  • the target detecting unit is further configured to: after the detection information of the background scene is subtracted from the detection information of the current scene, calculate the target to be detected; or
  • the target detecting unit is further configured to set a first weight value, a second weight value, and a compensation coefficient.
  • the product of the detection information of the current scene and the first weight value is subtracted from the detection information of the background scene.
  • the product of the second weighting value is obtained, and the initial detection target detection information is obtained; and the to-be-detected target is calculated by the initial to-be-detected target detection information and the compensation coefficient.
  • the detection information is a parallax image
  • the detection information acquisition unit includes: an image acquisition module, configured to acquire a first image and a second image of a background scene or a current scene; and a key point extraction module, configured to be first The image and the second image respectively perform key point extraction to obtain a first image key point and a second image key point;
  • a key point matching module configured to perform vertical matching by using the first image key point and the second image key point to obtain a matching point of the first image key point in the second image key point;
  • a parallax image acquiring module configured to calculate a parallax of the first image key point and acquire a parallax image of the background scene or the current scene according to the parallax.
  • the detection information is a depth image
  • the detection information acquiring unit includes: a first depth image calculation module, configured to calculate, by using the acquired background scene and/or a parallax image of the current scene, a depth image of the background scene and/or the current scene; or
  • a second depth image calculation module configured to perform edge detection on the image of the background scene and/or the same scene of the current scene; and calculate the depth image of the background scene and/or the current scene according to the edge detection calculation .
  • the key point matching module is further configured to acquire each key point in a predetermined range from the b-th column in the a-th row of the second image to the side of the first image direction, where the a and b The row coordinates and the column coordinates of the key points in the first image respectively; calculating the key points in the second image corresponding to the first image key point (a, b) and the first image key point (a, b) a matching value; determining, according to the matching value, a matching point of the first image key point (a, b) in the second image.
  • the parallax image acquisition module includes:
  • a reference point parallax acquisition module configured to use, as a reference point, a next scan point after the first image key point according to a scan order, where the key point and the reference point in the first image are respectively a row coordinate and a column coordinate And a; d; obtaining a matching point of the reference point in a search range of the second image, wherein the search range is formed by the b-DIF column to the d-th column in the a-th row, wherein the DIF is the a parallax of a key point of the first image; calculating a parallax between the reference point and a matching point of the reference point, and using the reference point as a key point;
  • a non-key point parallax acquisition module configured to select a neighbor key point (0, p) corresponding to a non-key point (m, n) in the first image; and obtain a matching of the non-key point in a second search range of the second image Point, the second search range is formed by the nth - DIF column to the pth column in the mth row, wherein the DIF is a disparity of the neighboring key points in the first image; calculating the non-key point and the Parallax between matching points of non-critical points.
  • the detection information is a parallax image or a depth image
  • the target detection unit includes: an initial target acquisition module, configured to calculate a target parallax/depth by using the detection information of the background scene and the detection information of the current scene.
  • the image determines an initial target to be detected;
  • Target determine the effective target to be tested;
  • the anti-counterfeiting strategy includes:
  • the initial target to be detected is a valid target, and if not, the initial to be detected
  • the target is a pseudo target
  • the target objPoint[maxN] having the largest disparity/depth mean in the predetermined window centered on the initial to-be-detected target in the target disparity/depth image is obtained, and all the initial to-be-detected are calculated.
  • the Euclidean distance between the target and the target objPoint[maxN] when the Euclidean distance between the initial target to be detected and the target objPoint[maxN] is not less than the distance threshold, the initial target to be detected is a valid target, otherwise, the initial waiting
  • the detection target is a pseudo target, where maxN is the serial number of the target with the largest depth mean; and,
  • the minimum gray level mean in a predetermined window centered on the target, and calculating gray levels corresponding to all the initial to-be-detected objects and gray levels corresponding to the minimum gray detection target
  • the mean value is not greater than the control threshold
  • the initial target to be detected is a valid target; otherwise, the initial target to be detected is a pseudo target.
  • the embodiment of the present invention further provides a passenger flow detecting system, where the system includes a motion detecting device and a counting device, and the counting device is configured to calculate a passenger flow according to the target to be detected obtained by the motion detecting device.
  • the motion detecting device includes:
  • a detection information acquiring unit configured to acquire detection information of a background scene and detection information of a current scene, where the current scene is a scene including a target to be detected and a same background scene;
  • the target detecting unit is configured to calculate the to-be-detected target according to the detection information of the background scene and the detection information of the current scene.
  • the technical solution provided by the embodiment of the present invention considers the influence of the original background object in the scene on the object to be detected, and uses the acquired detection information of the background scene and the detection information of the current scene to calculate the to-be-detected.
  • the target effectively reduces the influence of the background object on the target detection and enhances the accuracy of the detection. It has been proved that the technical solution provided by the embodiment of the present invention solves the prior art.
  • the problem caused by the target detection using only the depth information of the scene including the target to be detected can effectively overcome the environmental impact and the target "adhesion" problem, and realize the high complexity in a complicated scenario with less calculation amount. Detection of accuracy targets.
  • FIG. 1 is a schematic diagram of the principle of head positioning in the prior art
  • FIG. 2 is a schematic flowchart of a motion detection method according to Embodiment 1 of the present invention.
  • FIG. 3 is a schematic flowchart of a motion detection method according to Embodiment 2 of the present invention.
  • FIG. 4(a) and 4(b) are binocular images of a background scene acquired according to Embodiment 2 of the present invention; and FIG. 4(c) is a background parallax image obtained according to FIG. 4(a) and FIG. 4(b);
  • FIG. 4(d) and 4(e) are current scene binocular images acquired according to Embodiment 2 of the present invention
  • FIG. 4(f) is a current parallax image obtained according to FIG. 4(d) and FIG. 4(e);
  • Figure 5 is a target parallax image obtained according to Figure 4 (c) and Figure 4 (f);
  • FIG. 6 is a schematic flow chart of a method for de-authentication of a European-style distance according to Embodiment 2 of the present invention.
  • FIG. 7 is a schematic flowchart of a method for de-massing a gray-scale information of an original image according to Embodiment 2 of the present invention
  • FIG. 8 is a schematic diagram showing experimental results of a projection mark result according to Embodiment 2 of the present invention.
  • FIG. 9 is a schematic structural diagram of a motion detecting apparatus according to Embodiment 4 of the present invention.
  • FIG. 10 is a schematic structural diagram of another motion detecting apparatus according to Embodiment 4 of the present invention.
  • a first embodiment of the present invention provides a motion detection method.
  • the method includes: Step T1: Acquire detection information of a background scene and detection information of a current scene, where the current scene includes a target to be detected and The scene of the same background scene.
  • the background scene is a scene that does not include passengers
  • the current scene is the current scene including the case of a flowing passenger.
  • the detection information of the above scene may be a parallax image or a depth image.
  • the parallax image can be calculated by using images in different scenes of the scene. Referring to FIG.
  • the first image and the second image of the scene are first collected, and one of the first image and the second image is a matching image, and the other is For the matched image, the parallax image of the scene is acquired by the first image and the second image.
  • the specific acquisition manners of the first image and the second image are not limited.
  • the binocular images of the scene are used herein, and the background binocular images (such as the left image and the right image) are respectively used as the first image of the background scene.
  • the second image the current binocular image of the current scene is taken as the first image and the second image of the current scene, respectively.
  • the first image and the second image of the above scene may be any image for obtaining a parallax image.
  • the binocular image is an image obtained by observing the same scene from two or more viewpoints according to the principle of stereo recognition, and acquiring the object at different viewing angles.
  • the positional deviation between the pixels of the left and right images, that is, the parallax is calculated by the principle of triangulation or the like.
  • the binocular image taken with a binocular camera.
  • the background parallax image and the current parallax image are respectively acquired using the stereo matching technique according to the binocular image.
  • the depth image of the scene can be obtained in a plurality of manners.
  • a two-dimensional image sequence of the same viewpoint of the scene can be collected, for example, a monocular camera sequence is used to capture a sequence of the monocular image of the scene. After the image sequence is edge-detected, the depth image of the scene is directly obtained through correlation calculation.
  • the parallax image can be calculated by using the image in different scenes of the scene, and then the corresponding depth image is calculated according to the parallax image.
  • Step T2 Calculate the object to be detected according to the detection information of the background scene and the detection information of the current scene, and at least include the following two methods:
  • the first method the detection information of the background scene is subtracted from the detection information of the current scene, and the target detection information is obtained, and the target to be detected is obtained according to the target detection information.
  • the depth image of the current scene is subtracted from the depth image of the current scene to obtain a target depth image, and the target to be detected is calculated according to the target depth image; or the parallax image of the current scene is subtracted from the parallax image of the current scene to obtain a target parallax image. Calculate the target to be detected based on the target parallax image.
  • a second mode setting a first weight value, a second weight value, and a compensation coefficient; subtracting the detection information of the background scene from the product of the detection information of the current scene and the first weight value The product of the two weights is obtained to obtain initial target detection information; the target detection information is calculated according to the initial target detection information and the compensation coefficient, and the target detection information is used to calculate the target to be detected.
  • the weight value corresponding to the same parallax image may take the same constant value, or different weight values may be used for different parts of the parallax image; the compensation coefficient may be before the first result or the second result is obtained. , directly add or subtract from the parallax image of the current scene or background scene.
  • the method further includes: setting a threshold value, comparing the depth value or the disparity value in the target parallax image or the target depth image acquired by the above two methods with the threshold value, when greater than the threshold value, The point is retained in the target depth/parallax image; when it is less than the threshold, the point is removed to obtain the final target parallax/depth image.
  • the interference of the object in the background to the target detection is removed, and the target detection information of only the target is obtained, for example, only the target detection information of the passenger, including the target parallax image or the target depth image, enhances the accuracy of the detection.
  • the target is positioned by using the projection of the target parallax image or the target depth image, and the location for positioning the target is not limited.
  • the position of the positioning does not need to be at the head of the target. As long as it can be positioned on the target. Further, in order to remove the interference point and extract the correct target, the target of the preliminary positioning can be de- falsified.
  • the technical solution provided by the embodiment of the present invention considers the influence of the original background object in the scene on the object to be detected, and uses the acquired detection information of the background scene and the detection information of the current scene to calculate the target to be detected, which is effectively reduced.
  • the influence of the background object on the target detection enhances the accuracy of the detection. It has been proved that the technical solution provided by the embodiment of the present invention solves the problems caused by the target detection by using only the depth information of the scene including the object to be detected in the prior art, and can effectively overcome the environmental impact and the target "adhesion". " Problem, with a small amount of computation to achieve a complex scene High-precision target detection.
  • the motion detection method provided by the second embodiment of the present invention will be specifically described below.
  • the parallax image of the background scene and the parallax image of the current scene are obtained by using the images of different viewpoints, and the target parallax image is used for target detection as an example to illustrate the embodiment of the present invention.
  • Step S1 acquiring a background parallax image which is a parallax image of a background scene, and a current parallax image, wherein the current parallax image is a parallax image including a current scene of the object to be detected and the same background scene;
  • the first parallax image is acquired by using the first image and the second image.
  • the background parallax image and the current parallax image are acquired by using the binocular image.
  • the binocular is used.
  • the binocular images of the camera are collected, that is, the left image and the right image, and the left image is selected as the matched image (first image), and the right image is the matched image (second image).
  • the stereo matching method extracts a disparity map from the acquired binocular image.
  • Stereo matching technology is the most difficult part of stereo vision processing. In order to reduce computational complexity, reduce computation and obtain accurate parallax images, it can ensure accurate target positioning.
  • Embodiment 2 of the present invention provides a stereo matching method based on key points.
  • Step S11 Selection of key points
  • the key points should be the pixels in the left and right images that are more obvious, and the pixels that are easily recognized and extracted.
  • the key points affect the stereo matching of other points in the subsequent images, so it must be selected.
  • the right key point In the embodiment of the present invention, the point where the features in the image are relatively obvious is generally located on the edge of the object. Preferably, the edge point is selected as the key point. Edge extraction is performed on the left image and the right image, respectively, and the obtained edge points are taken as key points. However, it is not limited thereto, and other points having obvious features may be selected as key points or appropriate key points may be selected as needed.
  • Step S12 Stereo matching and parallax of key points
  • the stereo matching of the key points is first performed, and the matching points of the key points of the matched image in the matching image are obtained, including: acquiring the third line of the second image (ie, the matching image, the following are the same)
  • the middle column b starts from each key point in a predetermined range on the side of the first image (ie, the matched image, the following is the same), wherein the a and b are the row coordinates of the key points in the first image, respectively.
  • Step S121 In the left image of the binocular camera set, scan line by line from left to right to find key points (hereinafter, the edge points are taken as an example), if one edge point encountered is A, the coordinates thereof For (a, b), a is the row coordinate and b is the column coordinate;
  • Step S122 In the right image of the binocular camera set, in the row at the same position as the point A, that is, in the a-th row, the search key point in the predetermined range from the b-th column to the side of the matched image direction,
  • the predetermined range is a range including a certain number of N pixel points, and the range is related to the specific parameters of the camera camera and the erection height. For example, when applied to the automatic passenger flow statistics system, N may take 30.
  • the edge point is searched within the range of 30 pixel points to the left in the bth column in the ath row in the right image, assuming that M edge points are found at this time.
  • Step S123 Perform stereo matching on the point A in the left and right images.
  • the second embodiment of the present invention can be achieved by using the Census criterion with a small amount of calculation in the window of 5 ⁇ 5. The ideal effect.
  • the Census value is calculated in the 5 x 5 window centered on A in the left image, and the Census value calculated in the window of the right image centered on the found M edge points 5 X 5 respectively, Census of point A
  • the values are compared with the M Census values to obtain a matching value.
  • a predetermined number such as 20
  • the point has the highest similarity, that is, the optimal matching value is obtained, and it is considered that the point A matches the point, and the matching of the point A can be obtained.
  • the point is point B, and the coordinates of B are (a, c); when the number of similar points is less than the predetermined number, point A is cleared from the key point.
  • Step S124 When there is a matching point B at the key point A, the parallax DIF of the A is calculated as b-c.
  • Step S13 Stereo matching and parallax of the reference point
  • the reference point C is determined by the key point A, and the C point is stereo-matched.
  • the first scan point after the first image key point is used as a reference point according to a scan order, wherein the key point and the reference point in the first image are row coordinates and column coordinates respectively, and 1), a, and d; And acquiring a matching point of the reference point in a search range of the second image, where the search range is formed by the b-DIF column to the d-th column in the a-th row, wherein the DIF is a parallax of the key point of the first image And calculating a parallax between the reference point and the matching point of the reference point, and using the reference point as a key point. Specifically do the following:
  • Step S131 Selection of reference points
  • the next scan point after the key point A in the left image is selected as the reference point, and the point immediately to the right of the key point A is selected as the reference point C, and the coordinates are (a, d).
  • Step S132 Stereo matching and parallax of the reference point
  • the normalized cross-correlation matching criterion of the 7 x 7 window is used, the matching point to the C point is obtained, and the parallax DIF_C of the C point is calculated.
  • point C is the key point for which reference is made.
  • the search range of point D in the right image is the (d-DIF C) column in the data of the a-th row. Go to column e, get the matching point of point D, calculate the parallax DIF _ D of point D, and regard point D as the key point; if there is no matching point, clear point D.
  • the parallax of all the points to the right of the key point can be calculated.
  • Step S14 Stereo matching and parallax of non-key points
  • Calculating the disparity of the non-key point includes: selecting a neighbor key point (0, p) corresponding to the non-key point (m, n) in the first image; acquiring the matching point of the non-key point in the second search range of the second image
  • the second search range is formed by the nth DIF column to the pth column in the mth row, wherein the DIF is a disparity of the neighboring key points in the first image; and the non-key point and the non- The parallax between the matching points of the key points.
  • the points in the left image in which the parallax has been calculated can be regarded as the key points, and the remaining points are the non-key points.
  • the key points in the upper and lower directions on the left side of the non-key point using the key point in the same manner as step S13, that is, in the same position row as the non-key point in the matching image, using the parallax of the found key point.
  • stereo matching and parallax calculations for non-critical points are performed.
  • the stereo matching method provided by the second embodiment of the present invention divides the matching process into three main levels, first performing key point matching and disparity calculation, and obtaining a simple matching rule and a smaller window. Better results; then, based on the key points and their disparity, match the reference points around them, and finally process the remaining pixels. This method greatly reduces the scope of the search when matching, and improves the speed of matching.
  • Fig. 4 (a) to Fig. 4 (f) the result image of applying the above stereo matching method to a scene of the bus automatic passenger flow statistical system is shown, wherein Fig. 4 (a) and Fig. 4 (b) are The background scene binocular image, Fig. 4 (a) is the left image, Fig. 4 (b) is the right image, and Fig. 4 (c) is the acquired background parallax image.
  • Figure 4 (d) and Figure 4 (e) are the current scene binocular image, Figure 4 (d) is the left image, Figure 4 (e) is the right image, and Figure 4 (f) is the acquired current parallax image.
  • Step S2 acquiring a target parallax image according to the background parallax image and the current parallax image;
  • the target parallax image is obtained by subtracting the corresponding pixel value of the background parallax image by using the pixel value of the current parallax image, and the target parallax image obtained by the separate subtraction operation may have some interference points and parallax errors, in the second embodiment of the present invention.
  • the method further includes: setting a threshold value, comparing the pixel difference value obtained by the subtraction operation to the threshold value, and when the value is greater than the threshold value, retaining the point in the target parallax image; when less than the threshold value, removing The pixel points, thereby obtaining the final target parallax image.
  • 5 is a target parallax image obtained according to FIG. 4 (C) and FIG. 4 (f).
  • the direct parallax method is used to obtain the above-mentioned target parallax image, which has been experimentally proved to obtain a desired effect.
  • the present invention is not limited thereto.
  • the second parallax method in the first step T2 of the embodiment of the present invention, or other similar or modified manner, may be used to obtain the target parallax image.
  • Step S3 acquiring the target by using the target parallax image, and specifically includes the following processing: Step S31: acquiring extreme points in the horizontal direction projection and the vertical direction projection of the target parallax image respectively.
  • a method for obtaining extreme points is provided: projecting a target parallax image into a horizontal direction (X direction) and a vertical direction (y direction) respectively to obtain two projection curves, that is, a horizontal projection curve xHist and a vertical projection curve yHist; Calculate the second-order difference for xHist and yHist respectively to obtain the xHist extreme point xPeakPoint[n] , n [0, xNum] , where ⁇ is the number of the extreme point, where xNum is the number of extreme points in xHist; and the pole of yHist
  • the value point yPeakPoint[n] , n ⁇ [0, yNum] , ⁇ is the sequence number of the extreme point, where yNum is the number of extreme points in yHist.
  • Step S32 Acquire the initial target by using the extreme point.
  • the initial target point can be expressed by: objPoint[n] , n ⁇ [0, objNum] ,
  • the number of initial target points to be detected objNum xNum yNum , and the position of the initial target objPoint[n] is calibrated by xPeakPoint[n], yPeakPoint[n].
  • the position to be calibrated is not limited to a specific part of the target, such as the head, as long as it can be positioned on the target, so that the detection of the target is not limited. Matching a certain pattern (such as a circle) improves the detection accuracy of the target.
  • the final effective target is obtained by removing the pseudo target in the initial target according to the de-pseudo-policy.
  • Step S33 Removing the pseudo target in the initial target according to the de-authentication strategy, and determining the effective target.
  • the method for removing the pseudo target and determining the effective target provided by the second embodiment of the present invention is described below.
  • three strategies are mainly used: 1) parallax map information de-pseudo-strategy; 2) Euclidean distance de-pseudo-strategy; 3) original graph gray-scale information de-pseudo-strategy, the following three strategies are introduced separately .
  • the threshold DeepThreshold
  • the size of the predetermined window is not limited, and may be, for example, a window of 5 x 5 or a window of 7 x 7. Int i ;//loop variable
  • the array imgData is the target parallax image data, width and Height is the width of the image Degree and height.
  • avgRegion[n] be the mean value of all the disparity values of the initial target point objPoint[n] in the 5 x 5 window, and n be the sequence number of the initial target point to be detected.
  • the reference c code is as follows:
  • the array imgData is the parallax image data
  • width is the width of the image
  • objPoint[n].x and objPoint[n] .y are the coordinates of the 4 ⁇ and column of objPoint[n] respectively.
  • objPoint[n] When avgRegion[n] is greater than deepThreshold, objPoint[n] is a valid target; otherwise, when avgRegion[n] is less than or equal to deepThreshold, objPoint[n] is a pseudo target and the pseudo target is deleted.
  • the distance between the targets can be less than a certain distance, the distance between the targets can be used to remove the interference points.
  • the initial target to be detected For the initial target that is not currently subjected to the de-authentic processing, acquire the target objPoint[maxN] having the largest mean value of the parallax within the predetermined window in the target parallax image centering on the initial object to be detected, and calculate all the initial target to be detected and the target
  • the Euclidean distance of objPoint[maxN] when the Euclidean distance between the initial target to be detected and the target objPoint[maxN] is not less than the distance threshold, the initial target to be detected is a valid target; otherwise, the initial target to be detected is A pseudo target, where maxN is the sequence number of the target with the largest mean value of the disparity.
  • avgRegion[n] be the mean value of all the disparity values of the initial target to be detected objPoint[n] in a predetermined window (such as a window of 5x5), n is the sequence number of the initial target point to be detected, and the method of obtaining avgRegion[n] A description of the pseudo-partial part of the above disparity map information.
  • an identifier for the initial de-detection target point is set whether the distance de-false processing has been performed, such as the initial value of the processFlag[n], processFlag[n] is set to 0, when the initial After the detection target has been subjected to distance depreciation processing, processFlag[n ⁇ is set to 1; the deletion identifier is set for the initial target to be detected. If the identifier deleteFlag[n] is set, the initial value of deleteFlag[n] is 0, and deleteFlag[ When n] is set to 1, it indicates that the target point is deleted.
  • it is not limited thereto, and other suitable methods may be employed to achieve the above-described distance de-spy operation.
  • processFlag[n] is 1 . If yes, go to step 5), otherwise, go to step 1);
  • the original image gray information de-pseudo-strategy This strategy utilizes the fact that the target (head) is generally darker in color, that is, the gray value is lower, and the pseudo target removal is performed. That is, some of the pseudo-targets located on the passenger's body are much larger in grayscale value than the effective targets located on the head.
  • the initial target to be detected is a valid target; otherwise, the initial target to be detected is a pseudo target.
  • the proportional value fioThreshold and the control threshold conThreshold are set, and the initial target to be detected is identified by using two threshold values.
  • the original grayscale information depreciation operation can be performed as follows:
  • the depth information value and the disparity information value are consistent, it can be used to indicate the distance of the target from the camera.
  • a specific depth relationship is obtained by using a specific calculation relationship, and the depth information of the current scene is used to obtain the target depth information by subtracting the depth information of the background scene, and Determining an initial target to be detected by using an extreme point of the target depth image corresponding to the target depth information; removing the initial to-be-checked according to the above-described anti-counterfeiting strategy
  • the pseudo target in the target is measured to determine the effective target.
  • the above-mentioned anti-counterfeiting strategy is specifically as follows, and the specific processing method can be referred to the disparity map information de-spoofing strategy, the Euclidean distance de-spoofing strategy, and the original image gray-scale information de-spoofing strategy, including:
  • the target objPoint[maxN] having the largest depth mean in the predetermined window centered on the initial target to be detected is obtained in the target depth image, and all the initial to-be-detected targets and the target objPoint are calculated.
  • the Euclidean distance of maxN] when the Euclidean distance between the initial target to be detected and the target objPoint[maxN] is not less than the distance threshold, the initial target to be detected is a valid target; otherwise, the initial target to be detected is a pseudo target.
  • maxN is the sequence number of the target with the highest depth mean
  • the initial target to be detected is a valid target; otherwise, the initial target to be detected is a pseudo target.
  • the corresponding image of the current scene is the original image of the current scene. For example, when the depth image is acquired by using the parallax image of the binocular image, the original image is the matched image in the binocular image, and the depth image is acquired by using the monocular image. When the monocular image is the original image.
  • Embodiment 2 of the present invention provides a method for calculating a depth image from a parallax image, including the following processing:
  • the depth value z obtained by the formula (1) represents the distance of the target from the optical center of the camera.
  • the depth value Z obtained above may be too large (for example, more than 255), and the result obtained by the formula (1) may be corrected.
  • the correction formula may be as follows:
  • Zl z X r ( 2 )
  • r can be greater than 1 or less than 1
  • z can be converted to a number from 0 to 255 by (2).
  • the depth value zl thus obtained is inversely proportional to the disparity value d, that is, the darkest place in the depth image where the parallax image is the brightest, and the depth image in the darkest image. Become the brightest place.
  • the target positioning is not limited to a certain part of the target (such as the head), and a plurality of de-pseudo-strategies are used for target recognition to remove the pseudo-target.
  • the passenger flow When the passenger flow is detected, it does not depend on the black color of the hair relative to the surrounding environment, and can accurately detect the target when wearing the hat or the target when wearing the black clothes, and obtain accurate passenger flow detection results.
  • the target parallax image is projected horizontally, and the two-dimensional data of the target parallax image is transformed into a one-dimensional projection image to find a peak point (ie, an extreme point) in the horizontal projection image; and then a vertical projection is performed.
  • the image two-dimensional data is transformed into a one-dimensional projection image to find the peak point in the vertical projection image.
  • the B image in Fig. 8 is a horizontal projection image, in which three peak points are determined, as indicated by the dots in the B image, and the D image in Fig. 8 is a vertical projection image, and three projections are determined in the projection image.
  • the peak point as indicated by the dot in the D image.
  • the pseudo-target is removed to remove the pseudo target in the initial target, and the effective target can be accurately calibrated, as shown in the C image in FIG. Comparing the C image with the A image of the actual scene fully demonstrates the effectiveness of the motion detection method provided by the embodiment of the present invention. With accuracy.
  • the technical solution provided by the embodiment of the present invention takes into account the characteristics of the stereoscopic vision technology, fully utilizes the parallax image of the scene, and uses the target parallax image containing only the target parallax to perform motion detection, thereby enhancing the accuracy of the detection. degree.
  • the technical solution of the embodiment of the present invention acquires an accurate target parallax image to locate a target by using a stereo matching technology based on a key point, and is not limited to a certain part of the target when performing target positioning, and uses multiple de-spoofing strategies. Target recognition is performed to remove false targets.
  • the edge detection is performed on the image in the same scene of the background scene or the current scene; the depth information of the background scene or the depth information of the current scene is calculated according to the edge detection; Obtaining target depth information, and using the target depth information to acquire a target to be detected.
  • the background image or the image of the current scene in the same view is used for edge detection.
  • the method for calculating the depth information of the background scene or the depth information of the current scene according to the edge detection is described. The method includes at least the following two methods.
  • Method 1 When performing edge detection using the pixel value difference of the image sequence.
  • the image sequence includes a first image and a second image, and the pixel value of the first image is subtracted from the pixel value of the second image to obtain a pixel value difference S ( x, y, n ), and the pixel value may be a pixel point.
  • S(x, y, n) is a chromaticity value of a pixel having image coordinates x and y at time n.
  • the pixel value difference S ( x, y, n ) is filtered to obtain a pixel value difference signal S F ( x, y, n ).
  • a pixel value difference signal S F ( x, y, n ) is filtered to obtain depth information D ( X, y, n ).
  • D ( x, y, n ) a * S F ( x, y, n ) ( 4 ) where " is a predetermined constant;
  • D ( x, y, n ) W ( i ) * S F ( x, y, n ) ( 5 )
  • W ( i ) is a weighting factor involving the spatial distance i between the pixel and the pixel in its adjacent space .
  • Method 2 Perform edge detection using the motion vector difference of the image sequence.
  • An edge is detected based on a motion vector field calculated from the first image and the second image, the first image and the second image belonging to the same video sequence.
  • the edge is detected using the motion vector difference of the adjacent motion vectors of the motion vector field described above, and the obtained depth value is a function of the motion vector difference, for example, the weight value is assigned by the weighting factor W(i). Areas in the motion vector field having relatively large motion vector contrasts are detected, which correspond to edges in the corresponding image.
  • a fourth embodiment of the present invention provides a motion detection apparatus. As shown in FIG. 9, the apparatus includes: a detection information acquiring unit 91, configured to acquire detection information of a background scene and detection information of a current scene, where the current scene is a scene including a target to be detected and a same background scene;
  • the target detecting unit 92 is configured to calculate the to-be-detected target according to the detection information of the background scene and the detection information of the current scene.
  • the target detecting unit 92 is further configured to: after the detection information of the current scene is subtracted from the detection information of the current scene, calculate the target to be detected; or
  • the target detecting unit 92 is further configured to set a first weight value, a second weight value, and a compensation coefficient; subtracting the background scene from the product of the detection information of the current scene and the first weight value The product of the measured information and the second weight value is obtained to obtain initial detection target detection information; and the to-be-detected target is calculated from the initial to-be-detected target detection information and the compensation coefficient.
  • the detection information acquiring unit 91 includes:
  • the image acquisition module 911 is configured to acquire a first image and a second image of the background scene or the current scene.
  • the key point extraction module 912 is configured to perform key point extraction on the first image and the second image respectively to obtain a key point of the first image. And a second image key point;
  • the key point matching module 913 is configured to perform stereo matching by using the first image key point and the second image key point to obtain a matching point of the first image key point in the second image key point;
  • the parallax image acquisition module 914 is configured to calculate a disparity of the first image key point and acquire a parallax image of the background scene or the current scene according to the parallax.
  • the key point matching module 913 is further configured to acquire each key point in a predetermined range from the b-th column in the a-th row of the second image to the side of the first image direction, where the a and b are The row coordinates and the column coordinates of the key points in the first image respectively; calculating the key points in the second image corresponding to the first image key point (a, b) and the first image key point (a, b) a matching value; determining, according to the matching value, a matching point of the first image key point (a, b) in the second image.
  • the parallax image acquisition module 914 includes:
  • a reference point parallax acquisition module configured to use, as a reference point, a next scan point after the first image key point according to a scan order, where the key point and the reference point in the first image are respectively a row coordinate and a column coordinate And a; d; obtaining a matching point of the reference point in a search range of the second image, wherein the search range is formed by the b-DIF column to the d-th column in the a-th row, wherein the DIF is the a parallax of a key point of the first image; calculating a parallax between the reference point and a matching point of the reference point, and using the reference point as a key point;
  • a non-key point parallax acquisition module configured to select a neighbor key point (0, p) corresponding to a non-key point (m, n) in the first image; and obtain a matching of the non-key point in a second search range of the second image Point, the second search range is formed by the nth - DIF column to the pth column in the mth row, wherein the DIF is a disparity of the neighboring key points in the first image; calculating the non-key point and the Non-critical point between matching points Parallax.
  • the image acquisition module 911 can be implemented by using a binocular camera. In this case, the camera needs to be calibrated.
  • Camera calibration is used to determine camera internal parameters such as focal length, lens distortion factor, uncertainty image factor, and external parameters such as rotation matrix, translation vector to determine the imaging model. Whether the calibration process is accurate or not directly affects the accuracy of the stereo vision system measurement. After calibration, on the one hand, the internal and external parameters of the camera are obtained and the nonlinear distortion of the lens is corrected; on the other hand, the outer pole line is horizontal.
  • the binocular camera used by the above device should meet the following requirements: use two cameras of the same model and the same parameters to ensure the consistency of the two cameras; set the focal plane level of the two cameras, and the baseline is parallel
  • the binocular camera's light-sensing device (such as CMOS or ccd sensor) should be more than 1/3 inch in size; mount the camera above the scene to be detected, Take images from top to bottom to ensure the head depth of the target is maximized.
  • the detection information is a depth image
  • the detection information acquiring unit 91 includes: a first depth image calculation module, configured to calculate the background by using the acquired background scene and/or a parallax image of the current scene. a depth image of the scene and/or the current scene; or
  • a second depth image calculation module configured to perform edge detection on the image of the background scene and/or the same scene of the current scene; and calculate the depth image of the background scene and/or the current scene according to the edge detection calculation .
  • the detection information is a parallax image or a depth image
  • the target detection unit 92 includes: an initial target acquisition module 921, configured to calculate a target parallax obtained by using the detection information of the background scene and the detection information of the current scene. /depth image determines the initial target to be detected; target authenticity processing the model target;
  • the anti-counterfeiting strategy includes:
  • the target objPoint[maxN] having the largest disparity/depth mean in the predetermined window centered on the initial to-be-detected target in the target disparity/depth image is obtained, and all the initial to-be-detected are calculated.
  • the Euclidean distance between the target and the target objPoint[maxN] when the Euclidean distance between the initial target to be detected and the target objPoint[maxN] is not less than the distance threshold, the initial target to be detected is a valid target, otherwise, the initial waiting
  • the detection target is a pseudo target, where maxN is the serial number of the target with the largest depth mean; and,
  • the minimum gray level mean in a predetermined window centered on the target, and calculating gray levels corresponding to all the initial to-be-detected objects and gray levels corresponding to the minimum gray detection target
  • the mean value is not greater than the control threshold
  • the initial target to be detected is a valid target; otherwise, the initial target to be detected is a pseudo target.
  • the corresponding image when the target image is detected by using the parallax image, the corresponding image is the matched image when the parallax image is acquired; when the target image is detected by using the depth image, the corresponding image of the current scene is the original image of the current scene, such as when utilized
  • the parallax image of the binocular image acquires the depth image
  • the original image is the matched image in the binocular image
  • the monocular image is the original image.
  • Embodiment 4 of the present invention For a specific working mode of each functional module in Embodiment 4 of the present invention, refer to the method embodiment of the present invention.
  • the technical solution provided by the embodiment of the present invention takes full advantage of the parallax/depth information of the scene in consideration of the characteristics of the stereoscopic vision technology, and performs motion detection using the target parallax/depth image containing only the target parallax/depth to be detected. , enhanced detection accuracy.
  • the technical solution of the embodiment of the present invention acquires an accurate target parallax image to locate a target by using a stereo matching technology based on a key point, and the target positioning is not limited to a certain part of the target, and multiple uses are performed.
  • the pseudo-strategy performs target recognition and removes false targets.
  • the fifth embodiment of the present invention further provides a passenger flow detecting system, the system includes a motion detecting device and a counting device, and the counting device is configured to calculate a passenger flow according to the target to be detected obtained by the motion detecting device, where
  • the motion detecting device includes:
  • a detection information acquiring unit configured to acquire detection information of a background scene and a detection information of a current scene, where the current scene is a scene including a target to be detected and a same background scene; and a target detecting unit, configured to detect information according to the background scene And the detection information of the current scene is calculated to obtain the target to be detected.
  • the system can be used for automatic passenger flow statistics for transportation systems such as railways, subways and buses, as well as for any situation where moving objects need to be detected. It is especially suitable for the detection and calibration of targets in places where the light changes are relatively strong.
  • the technical solution provided by the embodiment of the present invention considers the influence of the original background object in the scene on the object to be detected, and uses the acquired detection information of the background scene and the detection information of the current scene to calculate the to-be-detected.
  • the target effectively reduces the influence of the background object on the target detection and enhances the accuracy of the detection.
  • the technical solution provided by the embodiment of the present invention solves the problems caused by the target detection by using only the depth information of the scene including the object to be detected in the prior art, and can effectively overcome the environmental impact and the target "adhesion". "Problem, the detection of high-precision targets in complex scenes is achieved with less computational effort.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Train Traffic Observation, Control, And Security (AREA)

Description

一种运动检测方法、 装置和***
本申请要求于 2009年 4月 28日提交中国专利局、申请号为 200910135766.X, 发明名称为"一种运动检测方法、装置和***"的中国专利申请的优先权，其全部 内容通过引用结合在本申请中。
技术领域
本发明涉及视频图像处理领域， 尤其涉及一种运动检测方法、 装置和客流 检测***。
背景技术
对于铁路、 地铁和公交车等公共交通***， 详实的掌握各条线路、 站点客 流的流向、 流时、 流量及其分布情况等信息， 自动的客流信息统计***能够方 便运营公司进行线路调整， 及对车辆资源进行合理配置。
传统自动客流信息的统计釆用了红外遮挡***及压力传感***， 利用物体 通过该***时， 光线被遮挡的原理， 统计通过红外遮挡***的物体数量， 该方 法不能针对客流的往来进行精确、 及时的统计， 特别是在客流高峰期拥挤状况 严重时， 且该***的应用场所受限。
相比而言， 图像信息的容量更大， 更丰富， 图像处理技术的兴起与发展为 解决传统客流统计技术面临的一系列问题提出了很多新方法。
目前， 应用于自动客流统计的图像处理方法大多为利用二维图像处理中的 特征识别与模式匹配等方法， 该方法只适用于背景相对简单的情况， 且对并排 目标或目标前后拥挤的情况无法进行正确识别。 基于立体视觉的运动检测技术 已成为当今研究的热点。
现有技术一提供了一种基于立体视觉的公交客流统计方法， 参见专利号为 CN200510060288.2的中国专利， 提出了一种利用待检测场景中各点到摄像机的 距离， 结合单目图像的特征识别技术， 实现人头部的检测， 从而完成客流信息 统计的方法。 如图 1 所示， 对单目图像进行类圓物体提取时， 存在着大量的伪 圓， 再通过一些算法准则去除伪圓， 这样就实现每个人的头部对应一个圓， 通 过对圓形数量的计算实现对客流人数的统计。 现有技术二提供了一种利用运动检测技术确定运动目标的方法， 参见专利 号为 CN200710003278.4的中国专利， 该方法主要包括： 获取检测场景的深度图 像， 建立并初始化该深度图像的高斯背景模型， 根据该高斯背景模型确定该深 度图像中的运动对象的像素点
然而， 现有技术中还是存在着不少的问题， 例如， 现有技术一仅利用了包 含待检测目标的场景的深度信息， 且是以二维图像的特征识别技术为主要手段， 该深度信息只是用于辅助去除伪圓， 该方法无法完全去除伪圓， 检测精度不高， 最终对客流的统计结果不准确。 现有技术二提供的方法也仅使用了包含待检测 目标的场景的深度信息， 需要利用大量的高斯统计和判断模型公式， 计算量非 常大， 且需要利用算法及时更新高斯背景模型， 然而当客流比较密集的时候会 造成背景更新失效， 无法进行目标检测。 且当客流密集情况下， 该方法会造成 多个目标 "粘连" 在一起， 导致检测区域无法分割， 影响目标信息的统计。 发明内容
为解决现有技术中存在的问题， 本发明的实施例提供了一种运动检测的方 法、 装置和***， 用于降低运动检测时的计算复杂度， 实现复杂场景下的高精 度目标的检测。
为达到上述目的， 本发明的实施例釆用如下技术方案：
一方面， 本发明实施例提供了一种运动检测方法， 所述方法包括： 获取背景场景的检测信息和当前场景的检测信息， 所述当前场景为包括待 检测目标和同一背景场景的场景；
根据所述背景场景的检测信息和当前场景的检测信息计算得到所述待检测 目标。
进一步的， 所述待检测目标由所述当前场景的检测信息减去所述背景场景 的检测信息后计算得到；
或者，
设置第一权重值、 第二权重值和补偿系数；
将所述当前场景的检测信息与所述第一权重值的乘积， 减去所述背景场景 的检测信息与所述第二权重值的乘积， 得到初始待检测目标检测信息； 所述待检测目标由所述初始待检测目标检测信息和所述补偿系数计算得 到。
进一步的， 所述检测信息为视差图像， 还包括：
获取所述背景场景和 /或当前场景的第一图像和第二图像； 对第一图像和相 应的第二图像分别进行关键点提取， 获取第一图像关键点和第二图像关键点； 利用所述第一图像关键点和第二图像关键点进行立体匹配， 得到第一图像关键 点在第二图像关键点中对应的匹配点； 计算所述第一图像关键点的视差， 并根 据所述视差获取所述背景场景和 /或当前场景的视差图像。
进一步的， 还包括：
获取在第二图像的第 a行中第 b列起向第一图像方向一侧的预定范围内的 各关键点， 其中， 所述 a和 b分别为第一图像中关键点的行坐标和列坐标； 计算所述第一图像关键点（a, b )和所述第一图像关键点（a, b )对应的第 二图像中各关键点的匹配值；
根据所述匹配值确定第一图像关键点 （a, b )在第二图像中的匹配点。 进一步的， 还包括：
按照扫描顺序， 将所述第一图像关键点后的下一个扫描点作为参考点， 所 述关键点、 参考点在第一图像中行坐标和列坐标分别为 和1)、 a和 d;
在第二图像的搜索范围内获取该参考点的匹配点， 所述搜索范围是由第 a 行中从第 b-DIF列至第 d列构成， 其中， DIF为所述第一图像关键点的视差； 计算所述参考点与该参考点的匹配点之间的视差， 并将该参考点作为关键 点。
进一步的， 还包括：
选取第一图像中非关键点 （m, n )对应的近邻关键点 （0 , p );
在第二图像的第二搜索范围内获取该非关键点的匹配点， 所述第二搜索范 围是由第 m行中从第 n - DIF列至第 p列构成， 其中， DIF为所述第一图像中近 邻关键点的视差； 计算所述非关键点与该非关键点的匹配点之间的视差。
进一步的， 还包括：
提取所述第一图像和第二图像的图像边缘点作为所述关键点， 所述第一图 像和第二图像为所述场景的双目图像。 利用 Census准则执行所述第一图像关键 点和第二图像关键点的立体匹配； 利用归一化互相关准则根据所述第一图像关 键点的视差获取所述视差图像。
进一步的， 所述检测信息为深度图像， 还包括：
利用获取到的所述背景场景和 /或当前场景的视差图像计算得到所述背景场 景和 /或当前场景的深度图像； 或者， 对所述背景场景或当前场景的同一视点下 的图像进行边缘检测； 根据所述边缘检测计算得到所述背景场景和 /或当前场景 的深度图像。
进一步的， 所述待检测目标的得到， 还包括确定初始待检测目标； 根据去 伪策略去除所述初始待检测目标中的伪目标， 确定有效待检测目标。
进一步的， 所述检测信息为视差图像或深度图像， 还包括：
分别获取目标视差 /深度图像水平方向投影和垂直方向投影中的极值点； 将所述水平方向投影的极值点和垂直方向投影的极值点分别两两配对， 确 定所述初始待检测目标； 其中， 所述目标视差 /深度图像由所述背景场景的检测 信息和当前场景的检 'J信息计算获得。
其中， 所述去伪策略包括：
判断以所述初始待检测目标为中心的目标视差 /深度图像中预定窗口内的视 差 /深度均值是否大于视差 /深度阔值， 若是， 该初始待检测目标为有效目标， 若 否该初始待检测目标为伪目标； 以及，
对当前未进行去伪处理的初始待检测目标， 获取目标视差 /深度图像中以该 初始待检测目标为中心预定窗口内视差 /深度均值最大的目标 objPoint[maxN] , 计算所述所有初始待检测目标与目标 objPoint[maxN]的欧氏距离， 当所述初始待 检测目标与目标 objPoint[maxN]的欧氏距离不小于距离阔值时，该初始待检测目 标为有效待检测目标， 否则， 该初始待检测目标为伪目标， 其中， maxN为所述 视差 /深度均值最大的目标的序号； 以及，
获取所述初始待检测目标在当前场景的相应图像中以该目标为中心预定窗 口内最小灰度均值， 计算所有初始待检测目标对应的灰度均值与所述最小灰度 检测目标对应的灰度均值不大于控制阔值时， 该初始待检测目标为有效待检测 目标， 否则， 该初始待检测目标为伪目标。
另一方面， 本发明实施例还提供了一种运动检测装置， 所述装置包括： 检测信息获取单元， 用于获取背景场景的检测信息和当前场景的检测信息， 所述当前场景为包括待检测目标和同一背景场景的场景；
目标检测单元， 用于根据所述背景场景的检测信息和当前场景的检测信息 计算得到所述待检测目标。
进一步的， 所述目标检测单元， 还用于由所述当前场景的检测信息减去所 述背景场景的检测信息后计算得到所述待检测目标； 或者，
所述目标检测单元， 还用于设置第一权重值、 第二权重值和补偿系数； 将 所述当前场景的检测信息与所述第一权重值的乘积， 减去所述背景场景的检测 信息与所述第二权重值的乘积， 得到初始待检测目标检测信息； 由所述初始待 检测目标检测信息和所述补偿系数计算得到所述待检测目标。 进一步的， 所述检测信息为视差图像， 所述检测信息获取单元包括： 图像获取模块， 用于获取背景场景或当前场景的第一图像和第二图像； 关键点提取模块， 用于对第一图像和第二图像分别进行关键点提取， 获取 第一图像关键点和第二图像关键点；
关键点匹配模块， 用于利用所述第一图像关键点和第二图像关键点进行立 体匹配， 得到第一图像关键点在第二图像关键点中对应的匹配点；
视差图像获取模块， 用于计算所述第一图像关键点的视差并根据所述视差 获取所述背景场景或当前场景的视差图像。 进一步的， 所述检测信息为深度图像， 所述检测信息获取单元包括： 第一深度图像计算模块， 用于利用获取到的所述背景场景和 /或当前场景的 视差图像计算得到所述背景场景和 /或当前场景的深度图像； 或者，
第二深度图像计算模块， 用于对所述背景场景和 /或当前场景的同一视点下 的图像进行边缘检测； 根据所述边缘检测计算得到所述所述背景场景和 /或当前 场景的深度图像。
进一步的， 所述关键点匹配模块， 还用于获取在第二图像的第 a行中第 b 列起向第一图像方向一侧的预定范围内的各关键点， 其中， 所述 a和 b分别为 第一图像中关键点的行坐标和列坐标； 计算所述第一图像关键点 （a, b )和所 述第一图像关键点 （a, b )对应的第二图像中各关键点的匹配值； 根据所述匹 配值确定第一图像关键点 （a, b )在第二图像中的匹配点。 进一步的， 所述视差图像获取模块包括：
参考点视差获取模块， 用于按照扫描顺序， 将所述第一图像关键点后的下 一个扫描点作为参考点， 所述关键点、 参考点在第一图像中行坐标和列坐标分 别为 和1)、 a和 d; 在第二图像的搜索范围内获取该参考点的匹配点， 所述搜 索范围是由第 a行中从第 b-DIF列至第 d列构成， 其中， DIF为所述第一图像关 键点的视差； 计算所述参考点与该参考点的匹配点之间的视差， 并将该参考点 作为关键点； 以及
非关键点视差获取模块， 用于选取第一图像中非关键点 （m, n )对应的近 邻关键点 （0 , p ); 在第二图像的第二搜索范围内获取该非关键点的匹配点， 所 述第二搜索范围是由第 m行中从第 n - DIF列至第 p列构成， 其中， DIF为所述 第一图像中近邻关键点的视差； 计算所述非关键点与该非关键点的匹配点之间 的视差。
进一步的， 所述检测信息为视差图像或深度图像， 所述目标检测单元包括： 初始目标获取模块， 用于利用由所述背景场景的检测信息和当前场景的检 测信息计算获得的目标视差 /深度图像确定初始待检测目标； 标， 确定有效待检测目标；
其中， 所述去伪策略包括：
判断以所述初始待检测目标为中心的目标视差 /深度图像中预定窗口内的视 差 /深度均值是否大于视差 /深度阔值， 若是， 该初始待检测目标为有效目标， 若 否该初始待检测目标为伪目标； 以及，
对当前未进行去伪处理的初始待检测目标， 获取目标视差 /深度图像中以该 初始待检测目标为中心预定窗口内视差 /深度均值最大的目标 objPoint[maxN] , 计算所述所有初始待检测目标与目标 objPoint[maxN]的欧氏距离， 当所述初始待 检测目标与目标 objPoint[maxN]的欧氏距离不小于距离阔值时，该初始待检测目 标为有效目标， 否则， 该初始待检测目标为伪目标， 其中， maxN为所述深度均 值最大的目标的序号； 以及，
获取所述初始待检测目标在当前场景的相应图像中以该目标为中心预定窗 口内最小灰度均值， 计算所有初始待检测目标对应的灰度均值与所述最小灰度 检测目标对应的灰度均值不大于控制阔值时， 该初始待检测目标为有效目标， 否则， 该初始待检测目标为伪目标。
再一方面， 本发明实施例还提供了一种客流检测***， 该***包括运动检 测装置和计数装置， 所述计数装置， 用于根据所述运动检测装置得到的待检测 目标计算得到客流量， 其中， 所述运动检测装置包括：
检测信息获取单元， 用于获取背景场景的检测信息和当前场景的检测信息， 所述当前场景为包括待检测目标和同一背景场景的场景；
目标检测单元， 用于根据所述背景场景的检测信息和当前场景的检测信息 计算得到所述待检测目标。
由上所述， 本发明实施例提供的技术方案， 考虑到场景中原有的背景物体 对待检测目标的影响， 同时利用获取到的背景场景的检测信息和当前场景的检 测信息计算得到所述待检测目标， 有效降低了背景物体对目标检测的影响， 增 强了检测的准确度。 实践证明， 本发明实施例提供的技术方案， 解决了现有技 术中由于仅使用包含待检测目标的场景的深度信息等进行目标检测所带来的问 题， 可以有效的克服环境影响和目标 "粘连" 问题， 以较少的计算量实现了复 杂场景下的高精度目标的检测。
附图说明
图 1为现有技术一中头部定位的原理示意图；
图 2为本发明实施例一提供的运动检测方法流程示意图；
图 3为本发明实施例二提供的运动检测方法流程示意图；
图 4 (a)和图 4 (b)为本发明实施例二获取的背景场景双目图像； 图 4 (c)为根据图 4 (a)和图 4 (b)获取到的背景视差图像；
图 4 (d)和图 4 (e)为本发明实施例二获取的当前场景双目图像； 图 4 (f)为根据图 4 (d)和图 4 (e)获取到的当前视差图像；
图 5为根据图 4 ( c )和图 4 ( f )获取到的目标视差图像；
图 6为本发明实施例二提供的欧式距离去伪方法流程示意图；
图 7为本发明实施例二提供的原图灰度信息去伪方法流程示意图； 图 8为本发明实施例二提供的投影标记结果实验结果示意图；
图 9为本发明实施例四提供的一种运动检测装置结构示意图；
图 10为本发明实施例四提供的另一种运动检测装置结构示意图。
具体实施方式
为了更清楚地说明本发明实施例的技术方案， 下面将结合附图对本发明的 实施例进行详细的介绍， 下面的描述仅仅是本发明的一些实施例， 对于本领域 普通技术人员来讲， 在不付出创造性劳动的前提下， 还可以根据这些实施例获 得本发明的其他的实施方式。
本发明实施例一提供了一种运动检测方法， 如图 2所示， 所述方法包括： 步骤 T1: 获取背景场景的检测信息和当前场景的检测信息， 所述当前场景 为包括待检测目标和同一背景场景的场景。 例如， 对客流自动统计***， 背景 场景为不包括乘客情况下的场景， 当前场景为包括流动的乘客情况下的当前场 景。 上述场景的检测信息可以为视差图像或深度图像。 本发明实施例一可利用 场景不同视点下的图像计算视差图像， 参见图 3 , 首先釆集场景的第一图像和第 二图像， 第一图像和第二图像中的一个为匹配图像， 另一个为被匹配图像， 通 过该第一图像和第二图像获取场景的视差图像。 对第一图像和第二图像的具体 获取方式不进行限制， 优选的， 在此釆用场景的双目图像， 将背景双目图像（如 左图像和右图像）分别作为背景场景的第一图像和第二图像， 将当前场景的当 前双目图像， 分别作为当前场景的第一图像和第二图像。 但不限于此， 上述场 景的第一图像和第二图像可以为用于获得视差图像的任何图像。
其中， 双目图像是根据立体识别原理， 从两个或多个视点观察同一景物， 获取的物体在不同视角下的图像。 根据该双目图像通过三角测量原理等， 计算 左右图像像素间的位置偏差， 即视差。 例如， 利用双目摄像机拍摄的所述双目 图像。 根据所述双目图像利用立体匹配技术， 分别获取背景视差图像和当前视 差图像。
可通过多种方式获取场景的深度图像， 例如， 一方面本发明实施例一可以 通过釆集该场景同一视点的二维图像序列， 如利用单目摄像机拍摄该场景的单 目图像序列， 对该图像序列进行边缘检测后， 通过相关计算直接得到场景的深 度图像。 另一方面， 本发明实施例一还可利用该场景不同视点下的图像计算视 差图像， 然后根据该视差图像计算得到相应的深度图像。
步骤 T2: 根据所述背景场景的检测信息和当前场景的检测信息计算得到所 述待检测目标， 至少包括如下两种方式：
第一种方式： 可以利用当前场景的检测信息减去背景场景的检测信息， 得 到目标检测信息， 根据该目标检测信息进行计算得到所述待检测目标。 例如， 用当前场景的深度图像减去背景场景的深度图像得到目标深度图像， 根据该目 标深度图像进行计算得到待检测目标； 或用当前场景的视差图像减去背景场景 的视差图像得到目标视差图像， 根据目标视差图像进行计算得到待检测目标。
第二种方式： 设置第一权重值、 第二权重值和补偿系数； 将所述当前场景 的检测信息与所述第一权重值的乘积， 减去所述背景场景的检测信息与所述第 二权重值的乘积， 得到初始目标检测信息； 根据所述初始目标检测信息和所述 补偿系数计算目标检测信息， 利用目标检测信息进行计算得到所述待检测目标。
例如， 将当前场景的视差图像与第一权重值 Wl相乘， 得到第一结果； 将背 景场景的视差图像与第二权重值 W2相乘， 得到第二结果； 将第一结果减去第二 结果得到初始目标视差图像， 利用该初始目标视差图像加上或减去补偿系数， 得到目标视差图像。
其中， 对同一个视差图像所对应的权重值， 可以取同一个常数值， 或者， 对该视差图像不同的部分取不同的权重值； 所述补偿系数可在得到第一结果或 第二结果前， 直接与当前场景或背景场景的视差图像相加减。
应当注意到， 上述权重值和补偿系数是可选的。
可选的， 还包括， 设置一个阔值， 将上述两种方式获取到的目标视差图像 或目标深度图像中的深度值或视差值与该阔值进行比较， 当大于该阔值时， 在 目标深度 /视差图像中保留该点； 当小于阔值时， 去除该点， 从而获取到最终的 目标视差 /深度图像。
通过上述方式去除了背景中的物体对目标检测的干扰， 得到了只有目标的 目标检测信息， 如只有乘客的目标检测信息， 包括目标视差图像或目标深度图 像， 增强了检测的准确度。
利用所述目标视差图像或目标深度图像的投影， 对所述目标进行定位， 对 目标进行定位的部位不进行限制， 例如， 目标为人员时， 定位的位置并不要求 必须在目标的头部， 只要能定位在目标上即可。 进一步的， 为去除干扰点及提 取正确的目标， 可对初步定位获得目标进行去伪处理。
本发明实施例提供的技术方案， 考虑到场景中原有的背景物体对待检测目 标的影响， 同时利用获取到的背景场景的检测信息和当前场景的检测信息计算 得到所述待检测目标， 有效降低了背景物体对目标检测的影响， 增强了检测的 准确度。 实践证明， 本发明实施例提供的技术方案， 解决了现有技术中由于仅 使用包含待检测目标的场景的深度信息等进行目标检测所带来的问题， 可以有 效的克服环境影响和目标 "粘连" 问题， 以较少的计算量实现了复杂场景下的 高精度目标的检测。
下面对本发明实施例二提供的运动检测方法进行具体说明。 在本发明实施 例二中， 参见图 3 , 主要以釆用不同视点的图像， 得到背景场景的视差图像和当 前场景的视差图像， 并利用目标视差图像进行目标检测为例说明本发明实施例 的技术方案。
步骤 S1 : 获取背景视差图像和当前视差图像， 所述背景视差图像为背景场 景的视差图像， 所述当前视差图像为包括待检测目标和同一背景场景的当前场 景的视差图像；
利用第一图像和第二图像获取上述视差图像， 优选的， 本发明实施例二利 用双目图像获取上述背景视差图像和当前视差图像， 在本发明实施例二中， 优 选地， 釆用双目摄像机釆集的所述双目图像， 即左图像和右图像， 选取左图像 为被匹配图像（第一图像）， 右图像为匹配图像（第二图像）。 由于左右两台摄 相机在拍摄同一场景的时候会存在一定的视差， 即相同目标在水平方向上有一 定的位移， 距离摄像机近的物体视差大， 距离摄像机远的物体视差小， 依据此 原理通过立体匹配的方法从获取的双目图像中提取视差图。
立体匹配技术是立体视觉处理过程中最困难的一个环节， 为了降低计算复 杂度、 减少计算量且获取到精确的视差图像，， 从而能够保证后续对目标进行精 确的定位。 本发明实施例二提供了一种基于关键点的立体匹配方法。
下面对本发明实施例二提供的立体匹配方法进行说明， 具体包括如下步骤 处理：
步骤 S11 : 关键点的选取
首先， 在左图像和右图像中选取关键点， 关键点应该是在左右图像中特征 比较明显， 容易被正确识别并提取的像素点， 关键点影响后续图像中其它点的 立体匹配， 因此必须选取合适的关键点。 本发明实施例中考虑到图像中特征比 较明显的点一般位于物体的边缘上， 优选的， 选取边缘点作为关键点。 分别对 左图像和右图像进行边缘提取， 将获取到的边缘点作为关键点。 但不限于此， 可以选取其它具有明显特征的点作为关键点或根据需要选取合适的关键点。 步骤 S12: 关键点的立体匹配及视差
选取关键点后， 首先进行关键点的立体匹配， 获取所述被匹配图像的关键 点在匹配图像中的匹配点， 包括： 获取在第二图像（即匹配图像， 以下皆同） 的第 a行中第 b列起向第一图像（即被匹配图像， 以下皆同） 方向一侧的预定 范围内的各关键点， 其中， 所述 a和 b分别为第一图像中关键点的行坐标和列 坐标； 计算所述第一图像关键点（a, b )和所述第一图像关键点（a, b )对应的 第二图像中各关键点的匹配值； 根据所述匹配值确定第一图像关键点 （a, b ) 在第二图像中的匹配点。 具体处理如下：
步骤 S121 : 在双目摄像机釆集的左图像中， 按从左至右的顺序逐行扫描， 寻找关键点（以下都以边缘点为例 ),若遇到的一个边缘点为 A,其坐标为（a, b ), a为行坐标， b为列坐标；
步骤 S122: 在双目摄像机釆集的右图像中， 在与 A点相同位置的行， 即第 a行中， 向第 b列起至被匹配图像方向一侧的预定范围内的搜索关键点， 所述预 定范围为包含一定数量 N像素点的范围， 该范围根摄像机摄像头的具体参数及 架设高度有关， 如应用在公交客流自动统计***时， N可取 30。
即当左图像为被匹配图像时， 在右图像中第 a行中第 b列起向左的 30个像 素点范围内搜索边缘点， 假设这时找到 M个边缘点。
步骤 S123: 在左右图像中对点 A进行立体匹配。
由于边缘点具有明显的特征且细节丰富， 进行立体匹配以获取关键点 A的 匹配点时，本发明实施例二釆用在 5 X 5的窗口中釆用计算量较小的 Census准则 即可达到理想的效果。
即左图像中在以 A为中心的 5 x 5的窗口中计算 Census值， 右图像中分别 在以找到的 M个边缘点为中心 5 X 5的窗口中计算的 Census值，将 A点的 Census 值分别与 M个 Census值进行相似度比较， 获取匹配值， 当相似点的个数 (如 25 个)大于等于预定个数（如 20个） 时， A点与右图像 M个点中哪一个点的相似 度最大， 即获得了最优的匹配值， 则认为 A点与该点匹配， 可得到 A点的匹配 点为 B点， B的坐标为 （a, c ); 当相似点的个数小于预定个数时， 将 A点从关 键点中清除。
由于 M点的个数相对很少， 搜索范围较小， 并且 Census的匹配准则比较简 单， 所以关键点的立体匹配速度很快。
步骤 S124: 当关键点 A存在匹配点 B时， 计算 A的视差 DIF = b-c。
重复上述步骤 S121至步骤 124的操作， 得到所有关键点的视差。
步骤 S13: 参考点的立体匹配及视差
为了进一步对关键点进行立体匹配， 通过关键点 A确定其参考点 C, 对该 C点进行立体匹配。 包括按照扫描顺序，将所述第一图像关键点后的下一个扫描 点作为参考点，所述关键点、参考点在第一图像中行坐标和列坐标分别为 和1)、 a和 d; 在第二图像的搜索范围内获取该参考点的匹配点， 所述搜索范围是由第 a行中从第 b-DIF列至第 d列构成， 其中， DIF为所述第一图像关键点的视差； 计算所述参考点与该参考点的匹配点之间的视差， 并将该参考点作为关键点。 具体进行如下操作：
步骤 S131 : 参考点的选取
本发明实施例二中选取左图像中关键点 A后的下一个扫描点作为参考点， 即将紧挨关键点 A右侧的点选取为参考点 C, 其坐标为 （a, d )。
再将 C点右侧的点作为参考点， 依次选取， 直至遇到该行的下一个关键点。 各行之间的操作是独立的， 互不影响。
步骤 S132: 参考点的立体匹配及视差
在匹配图像即右图像中的搜索范围内获取该参考点的匹配点， 所述搜索范 围由匹配图像中由第 a行中从第 （b-DIF ) 列至第 d列构成， 其中， DIF为所述 被匹配图像中关键点的视差，即在与 C点同行（第 a行 )数据中，并且在第（ b-DIF ) 列至第 d列范围内搜索 C的匹配点， 这里， 本发明实施例釆用 7 x 7窗口的归一 化互相关匹配准则， 获取到 C点的匹配点， 并计算 C点的视差 DIF _ C。 但不局 限于此， 包括其它适合的匹配规则。
然后将 C点视为关键点， 依次重复上述操作， 例如， 紧挨点 C ( a, d ) 的右 侧的点为 D点， 其坐标为（a,e)。 则对于 D点来说， C点为其可参考的关键点， 若 C的视差为 DIF— C, 则 D点在右图像中的搜索范围是第 a行数据中的 （d- DIF C )列至 e列， 获取 D点的匹配点， 计算 D点的视差 DIF _ D, 将 D点视为 关键点； 若不存在匹配点， 清除 D点。 依次类推可计算出关键点右侧的所有的 点的视差。
步骤 S14: 非关键点的立体匹配及视差
计算非关键点的视差包括： 选取第一图像中非关键点 （m, n)对应的近邻 关键点 （0, p); 在第二图像的第二搜索范围内获取该非关键点的匹配点， 所述 第二搜索范围是由第 m行中从第 n- DIF列至第 p列构成， 其中， DIF为所述第 一图像中近邻关键点的视差； 计算所述非关键点与该非关键点的匹配点之间的 视差。
通过上述步骤 S12、及步骤 S13的操作，左图像中已计算出视差的点都可被 视为关键点， 剩余的点为非关键点。 在非关键点左侧的上下行中寻找关键点， 利用该关键点的参照步骤 S13相同的方式， 即在匹配图像中与非关键点相同位 置行中， 利用寻找到的关键点的视差确定的列的范围内， 进行非关键点的立体 匹配和视差计算。
由上所述， 本发明实施例二提供的立体匹配方法， 将匹配过程分为三个主 要层次， 首先进行关键点的匹配和视差计算， 利用较简单的匹配规则和较小的 窗口即可获得较好的效果； 然后根据关键点及其视差等信息， 对其周围的参考 点进行匹配， 最后处理剩余的像素点。 该方法在进行匹配时大大缩小了搜索的 范围， 提高了匹配的速度。
如图 4 (a)至图 4 (f)所示， 显示了将上述立体匹配方法应用到公交自动 客流统计***的一个场景的结果图像， 其中， 图 4 (a)和图 4 (b)为背景场景 双目图像， 图 4 (a)为左图像， 图 4 (b)为右图像， 图 4 (c)为获取到的背景 视差图像。 图 4 (d)和图 4 (e)为当前场景双目图像， 图 4 (d)为左图像， 图 4 (e)为右图像， 图 4 (f) 为获取到的当前视差图像。
步骤 S2: 根据所述背景视差图像和当前视差图像获取目标视差图像； 通过利用当前视差图像的像素值逐点减去背景视差图像的对应像素值， 获 取目标视差图像， 单独的相减操作获取的目标视差图像会存在一些干扰点和视 差误差， 在本发明实施例二中， 还包括， 设置一个阔值， 将上述相减操作获取 到的像素差值与该阔值进行比较， 当大于阔值时， 在目标视差图像中保留该点； 当小于阔值时， 去除该像素点， 从而获取到最终的目标视差图像。 参见图 5 为 根据图 4 ( C )和图 4 ( f )获取到的目标视差图像。
优选的， 在本实施例中釆用直接相减的方法， 获取上述目标视差图像， 这 种方式经实验证明可以获得理想的效果。 但不限于此， 例如， 可以釆用本发明 实施例一步骤 T2中的第二种方式， 或其他相似、 或变形的方式获取上述目标视 差图像。
步骤 S3: 利用所述目标视差图像获取所述目标， 具体包括如下处理： 步骤 S31 :分别获取所述目标视差图像水平方向投影和垂直方向投影中的极 值点。
在此提供一种获取极值点的方法：对目标视差图像分别向水平方向（ X方向） 和垂直方向 （y方向）进行投影得到两条投影曲线， 即水平投影曲线 xHist和垂 直投影曲线 yHist; 对 xHist 及 yHist 分别计算二阶差分得到 xHist极值点 xPeakPoint[n] , n [0, xNum] , η为极值点的序号， 此处 xNum为 xHist中的极 值点数目；和 yHist的极值点 yPeakPoint[n] , n≡[0, yNum] , η为极值点的序号， 此处 yNum为 yHist中的极值点数目。
步骤 S32: 利用所述极值点获取所述初始的目标。
通过对 xPeakPoint[n]和 yPeakPoint[n]两两配对得到 xNum x yNum个初始的 目标点， 初始的目标点可以通过下式表示： objPoint[n] , n≡[0, objNum] ,
其中， 初始待检测目标点的个数 objNum = xNum yNum , 通过 xPeakPoint[n]、 yPeakPoint[n]标定初始的目标 objPoint[n]的位置。
上述利用极值点标定目标位置的方法， 所标定的位置不局限于目标的某一 特定部位， 如头部， 只要能够定位在目标上即可， 从而使目标的检测不局限于 对某种图形 （如圓形） 的匹配， 提高了目标的检测精度。
根据去伪策略去除初始的目标中的伪目标得到最终的有效目标。
步骤 S33 : 根据去伪策略去除所述初始的目标中的伪目标， 确定有效目标。 下面对本发明实施例二提供的去除伪目标， 确定有效目标的方法进行描述。 去伪处理过程中主要利用了三种策略： 1 )视差图信息去伪策略； 2 ) 欧式 距离去伪策略； 3 )原图灰度信息去伪策略， 下述对这三种策略分别进行介绍。
1、 视差图信息去伪策略
由于视差图中真实目标的视差比较大， 因此可以根据初始待检测目标点在 视差图中的视差大小来去除一些干扰目标。 设定阔值（deepThreshold ), 如可将 阔值大小设为视差图中所有视差均值的 1/2。 判断以所述初始的目标为中心的目 标视差图像中预定窗口内的视差均值是否大于视差阔值， 若是， 该初始待检测 目标为有效目标， 若否该初始待检测目标为伪目标。 对所述预定窗口的大小不 进行限定， 例如， 可以为 5 x5的窗口， 也可以为 7 x7的窗口。 int i ;//循环变量
double sumTmp;〃临时变量
double deepThreshold;〃阈值
sumTmp = 0;
for( i = 0; i < height; i++) for(j = 0; j < width; j++)
{ sumTmp = sumTmp + imgData[ i * width + j];} deepThreshold = sumTmp/(width * height * 2);// 阔值为视差均值的 1/2 其中，数组 imgData为目标视差图像数据， width和 height分别为图像的宽 度和高度。
本发明实施例二提供的用于实现视差图信息去伪策略的参考 C代码如下所 示：
设 avgRegion[n]为初始待检测目标点 objPoint[n]在 5 x 5窗口内所有视差值 的均值， n为初始待检测目标点的序号， 参考 c代码如下所示：
double tm Sum = 0;
for( i = objPoint[n].y - 5; i < obj Point [n].y + 5; i++) for( j = objPoint[n].x - 5; j < objPoint[n].x + 5; j++)
{tmpSum += imgData[i * width + j];} avgRegion[n] = tmpSum /( 10 * 10);
其中，数组 imgData为视差图像数据， width为图像的宽度， objPoint[n].x和 objPoint[n] .y分别为 objPoint[n]的 4亍和列的坐标值。
当 avgRegion[n] 大于 deepThreshold时， objPoint[n]为有效目标； 否则， 当 avgRegion[n]小于等于 deepThreshold时， objPoint[n]为伪目标，并删除该伪目标。
2、 欧式距离去伪策略
由于目标（如人员头部）之间的距离不能小于一定距离， 因此可利用目标 之间的距离去除干扰点。
对当前未进行去伪处理的初始的目标， 获取以该初始待检测目标为中心在 目标视差图像中预定窗口内的视差均值最大的目标 objPoint[maxN] ,计算所有所 述初始待检测目标与目标 objPoint[maxN]的欧氏距离， 当所述初始待检测目标与 目标 objPoint[maxN]的欧氏距离不小于距离阔值时，该初始待检测目标为有效目 标， 否则， 该初始待检测目标为伪目标， 其中， maxN为所述视差均值最大的目 标的序号。
重复上述处理过程，直至所有的初始待检测目标都已进行了欧式距离去伪处 理。 下面以一个具体的实现方式为例进行说明。
设 avgRegion[n]为初始待检测目标点 objPoint[n]在预定窗口（如 5x5的窗口 ) 内所有视差值的均值， n为初始待检测目标点的序号， avgRegion[n]的获得方式 参见上述视差图信息去伪部分的相关描述。
为便于距离去伪处理， 可选的， 为初始待检测目标点设置是否已进行距离 去伪处理的标识， 如标识 processFlag[n] , processFlag[n]的初始值设置为 0, 当对 初始待检测目标进行过距离去伪处理后， 将 processFlag[n 殳置为 1 ; 为初始待 检测目标点设置删除标识，如设置标识 deleteFlag[n] , deleteFlag[n]的初始值为 0, 将 deleteFlag[n]置 1时， 表示该目标点被删除。 但不限于此， 可以釆用其它适合 的方式以实现上述的距离去伪操作。
设距离阔值为 dstnThreshold, 对所有目标点进行一次欧式距离去伪操作， 参见图 6, 具体步骤如下：
1 ) 计算当前未进行去伪处理的初始的目标在预定窗口中的视差均值， 找 出视差均值最大的点。
遍历所有满足条件 deleteFlag[n] = 0且 rocessFlag[n] = 0 的 avgRegion[n] , 找到最大值 max(avgRegion[n]) , 该最大值对应的点为 n=maxN;
2 ) 计算 objPoint[maxN]与其它所有未进行距离去伪处理的点的欧式距 离， 即与满足条件 deleteFlag[n]= 0且 processFlag[n] = 0的目标点的欧式距离 dstnVal[n]。
当计算出初始待检测目标的距离 dstnVal[n]小于距离阔值 dstnThreshold时， 删去该目标点 objPoint[n] , 即设置 deleteFlag[n] = 1 , processFlag[n] = 1；
3 ) 将当前的视差值最大的初始待检测目标点的标识 processFlag[maxN] 置 1 ;
4 ) 判断是否满足所有目标点的标识 processFlag[n]都为 1 , 如果满足， 转 到步骤 5 ), 否则， 转到步骤 1 );
5 ) 结束。
3、 原图灰度信息去伪策略 该策略利用了目标（头部）一般颜色较深， 即灰度值较低这一特点进行伪 目标去除。 即一些位于乘客身体上的伪目标在灰度值上远大于位于头部上的有 效目标。
获取所述初始的目标在被匹配图像中以该目标为中心预定窗口内灰度均值 最小的目标， 计算所有初始的目标对应的灰度均值与所述最小灰度均值的比值， 的灰度均值不大于控制阔值时， 该初始待检测目标为有效目标， 否则， 该初始 待检测目标为伪目标。
获取所有初始待检测目标 objPoint[n]在左图像（原图像）中预定窗口（如 5x5 的窗口） 内的灰度均值 grayVal[n] , n 为初始待检测目标点的序号， 可以遍历 grayVal[n]找到最小值 minVal = min(grayVal[n]), 以 minVal为基准值与其它目标 的灰度值进行比较。
此处， 为了保证能够准确去除伪目标， 设定比例阔值 fioThreshold和控制阔 值 conThreshold, 通过利用两种阔值对初始待检测目标进行识别。
参见图 7 , 进行一次原图灰度信息去伪操作可以按以下步骤进行：
1 )遍历 grayVal[n]找到最小值 minVal = min(grayVal[n]),同时设置序号 n = 0;
2 )计算比值 fioVal[n] = grayVal[n]/minVal, 如果 fioVal[n] > fioThreshold同 时满足 gray Val[n] > conThreshold, 则 objPoint[n]为伪目标， 去除该伪目标； 否则 该初始待检测目标为有效目标；
3 )是否满足中止条件 n = objNum, objNum为初始待检测目标的总数目。 如果满足， 则转入步骤 4 ), 否则， n = n + l , 转入步骤 2 );
4 )结束。
应当注意到， 由于深度信息值和视差信息值具有一致性， 都可用于表示目 标距离摄像机的远近。 显而易见的， 在本发明实施例二中， 根据获取到的视差 值通过特定的计算关系， 可得到相应的深度值， 利用当前场景的深度信息减去 背景场景的深度信息获得目标深度信息， 并利用所述目标深度信息对应的目标 深度图像的极值点确定初始待检测目标； 根据上述去伪策略去除所述初始待检 测目标中的伪目标， 确定有效目标。
这时， 上述去伪策略具体如下所述， 且其具体处理方法可参见上述的视差 图信息去伪策略、 欧式距离去伪策略和原图灰度信息去伪策略， 包括：
判断以所述初始待检测目标为中心的目标深度图像中预定窗口内的深度均 值是否大于深度阔值， 若是， 该初始待检测目标为有效目标， 若否该初始待检 测目标为伪目标； 以及，
对当前未进行去伪处理的初始的目标， 获取目标深度图像中以该初始待检 测目标为中心预定窗口内深度均值最大的目标 objPoint[maxN] ,计算所述所有初 始待检测目标与目标 objPoint[maxN]的欧氏距离， 当所述初始待检测目标与目标 objPoint[maxN]的欧氏距离不小于距离阔值时， 该初始待检测目标为有效目标， 否则， 该初始待检测目标为伪目标， 其中， maxN为所述深度均值最大的目标的 序号； 以及，
获取所述初始的目标在当前场景的相应图像中以该目标为中心预定窗口内 最小灰度均值， 计算所有初始的目标对应的灰度均值与所述最小灰度均值的比 对应的灰度均值不大于控制阔值时， 该初始待检测目标为有效目标， 否则， 该 初始待检测目标为伪目标。 其中， 上述当前场景的相应图像为当前场景的原图 像， 如当利用双目图像的视差图像获取深度图像时， 该原图像为双目图像中的 被匹配图像， 当利用单目图像获取深度图像时， 该单目图像为原图像。
本发明实施例二提供了一种由视差图像计算得到深度图像的方法， 包括如 下处理：
利用如下公式（1 ) 由视差图像中的视差值得到深度图像中深度值： z = (b X f) / d ( 1 ) 其中， z表示深度值； 线值， 是指摄像头的光心之间的距离； f是摄 像头的焦距， 单位是像素； d表示视差值。
通过公式（1 )得到的深度值 z表示了目标距离摄像头光心的距离， 深度值 越小表示距离摄像头越近， 深度值越大表示距离摄行头越远。 进一步的， 上述得到的深度值 Z可能过大， （如超过 255 ), 可对公式（1 ) 得到的结果进行一定的修正， 如修正公式可釆用下式：
zl = z X r ( 2 ) 其中， 根据摄像头安装的高度确定 r的值， r可以大于 1也可以小于 1 , 通 过（ 2 ) 式可将 z转换成 0 ~ 255的数。 这样得出的深度值 zl与视差值 d是成反 比关系， 也就是在视差图像最亮的地方在深度图像中会变成最暗的地方， 在视 差图像最暗的地方在深度图像中会变成最亮的地方。
为了后续进行目标定位， 需要将深度图与视差图的对应关系保持一致， 进 一步的， 可进行如下公式（2 )进行修正：
z2 = 255 - zl ( 3 ) 由得到的 z2构成最后使用的目标深度信息， 以进行目标检测。
上述的目标检测和去伪处理过程， 进行目标定位时不局限于目标的某一部 位（如头部）， 且釆用多种去伪策略进行目标识别， 去除伪目标。 对客流进行检 测时， 不依赖头发相对周围环境灰度较黑的特性， 能够准确检测出戴帽子时的 目标或穿黑衣服时的目标， 获得精确的客流检测结果。
为便于理解并充分说明本发明实施例的有益效果， 下面通过一个简化的例 子说明上述目标识别及标定的方法。 参见图 8, 仍以公交自动客流统计***为例 进行说明， 图 8中图像 A显示了实际的场景图像。
首先对目标视差图像进行水平方向的投影， 将目标视差图像的二维数据变 成一维投影图， 找出水平投影图中的峰值点（即极值点）； 再做垂直方向上的投 影， 将图像二维数据变成一维投影图， 找出垂直投影图中的峰值点。 图 8 中 B 图像为水平投影图， 在该投影图中确定出 3个峰值点， 如 B图像中圓点所示， 图 8中 D图像为垂直投影图， 在该投影图中确定出 3个峰值点， 如 D图像中圓 点所示。 由此可得到初始的目标为 3 3=9个， 再去伪策略去除所述初始的目标 中的伪目标， 可准确标定出有效目标， 如图 8中 C图像所示。 将 C图像与实际 场景的 A图像相比较， 充分证明了本发明实施例提供的运动检测方法的有效性 与精确性。
由上所述， 本发明实施例提供的技术方案， 考虑到立体视觉技术的特点， 充分利用了场景的视差图像， 利用只包含待检测目标视差的目标视差图像进行 运动检测， 增强了检测的准确度。 本发明实施例的技术方案通过一种基于关键 点的立体匹配技术， 获取到准确的目标视差图像以定位目标， 进行目标定位时 不局限于目标的某一部位， 且釆用多种去伪策略进行目标识别， 去除伪目标。 实践证明， 本发明提供的技术方案， 解决了现有技术中存在的问题可以有效的 克服环境影响和目标 "粘连" 问题， 避免了对目标戴帽子时或者穿黑衣服时造 成误检的情况， 以较少的计算量实现了复杂场景下的高精度目标的检测。
下面对本发明实施例三提供的运动检测方法进行具体说明。 在本发明实施 例三中， 主要对所述背景场景或当前场景的同一视点下的图像进行边缘检测； 根据所述边缘检测计算得到所述背景场景的深度信息或当前场景的深度信息； 然后， 得到目标深度信息， 利用该目标深度信息获取待检测的目标。
其中， 由背景场景和当前场景的深度信息， 得到目标深度信息， 再利用该 目标深度信息获取待检测的目标的方法可参见本发明实施例一和二， 下面对本 发明实施例三提供的对所述背景场景或当前场景的同一视点下的图像进行边缘 检测； 根据所述边缘检测计算得到所述背景场景的深度信息或当前场景的深度 信息的方法进行说明， 至少包括如下两种方式。
方式一、 利用图像序列的像素值差进行边缘检测时。
上述图像序列包括第一图像和第二图像， 将第一图像的像素值与第二图像 的像素值相减， 得到像素值差 S ( x, y, n ), 所述像素值可以为像素点的色度 C(x, y, n)和亮度 I(x, y, n)中的一个， 其中， I(x, y, n)为在时间 n具有图像坐标 x和 y的 像素的亮度值， S(x, y, n)为在时间 n具有图像坐标 x和 y的像素的色度值。
为减小误差，对像素值差 S ( x, y, n )进行滤波得到像素值差信号 SF ( x, y, n )。 利用像素值差信号 SF ( x, y, n ), 可选的， 根据下式 (5)或 (6)釆用线性或非线性变 换进行深度映射， 获取深度信息 D ( X, y, n ): D ( x, y, n ) =a *SF ( x, y, n ) ( 4 ) 其中， "为预定常数；
D ( x, y, n ) =W ( i ) * SF ( x, y, n ) ( 5 ) 其中， W ( i ) 为加权因数， 涉及像素与其邻近空间中的像素之间的空间距 离 i。
方式二、 利用图像序列的运动矢量差进行边缘检测时。
根据第一图像和第二图像计算的运动矢量场的基础上检测边缘， 该第一图 像和第二图像为属于同一个视频序列。
利用上述运动矢量场的相邻运动矢量的运动矢量差来检测边缘， 获取到的 深度值为该运动矢量差的函数， 例如， 通过加权因数 W ( i )来进行深度值的分 配。 检测运动矢量场中具有相对较大运动矢量对比度的区域， 这些区域与相应 图像中的边缘对应。
本发明实施例提供的技术方案， 考虑到立体视觉技术的特点， 充分利用了 场景的深度信息， 利用目标深度信息进行运动检测。 本发明提供的技术方案， 解决了现有技术中存在的问题可以有效的克服环境影响和目标 "粘连" 问题， 避免了对目标戴帽子时或者穿黑衣服时造成误检的情况， 以较少的计算量实现 了复杂场景下的高精度目标的检测。 本发明实施例四提供了一种运动检测装置， 如图 9所示， 所述装置包括： 检测信息获取单元 91 , 用于获取背景场景的检测信息和当前场景的检测信 息， 所述当前场景为包括待检测目标和同一背景场景的场景；
目标检测单元 92, 用于根据所述背景场景的检测信息和当前场景的检测信 息计算得到所述待检测目标。
其中， 所述目标检测单元 92 , 还用于由所述当前场景的检测信息减去所述 背景场景的检测信息后计算得到所述待检测目标； 或者，
所述目标检测单元 92 , 还用于设置第一权重值、 第二权重值和补偿系数； 将所述当前场景的检测信息与所述第一权重值的乘积， 减去所述背景场景的检 测信息与所述第二权重值的乘积， 得到初始待检测目标检测信息； 由所述初始 待检测目标检测信息和所述补偿系数计算得到所述待检测目标。 进一步的， 如图 10所示， 当所述检测信息为视差图像， 所述检测信息获取 单元 91包括：
图像获取模块 911 , 用于获取背景场景或当前场景的第一图像和第二图像； 关键点提取模块 912, 用于对第一图像和第二图像分别进行关键点提取， 获 取第一图像关键点和第二图像关键点；
关键点匹配模块 913 ,用于利用所述第一图像关键点和第二图像关键点进行 立体匹配， 得到第一图像关键点在第二图像关键点中对应的匹配点；
视差图像获取模块 914,用于计算所述第一图像关键点的视差并根据所述视 差获取所述背景场景或当前场景的视差图像。
其中， 所述关键点匹配模块 913 , 还用于获取在第二图像的第 a行中第 b列 起向第一图像方向一侧的预定范围内的各关键点， 其中， 所述 a和 b分别为第 一图像中关键点的行坐标和列坐标； 计算所述第一图像关键点 （a, b )和所述 第一图像关键点 （a, b )对应的第二图像中各关键点的匹配值； 根据所述匹配 值确定第一图像关键点 （a, b )在第二图像中的匹配点。
所述视差图像获取模块 914包括：
参考点视差获取模块， 用于按照扫描顺序， 将所述第一图像关键点后的下 一个扫描点作为参考点， 所述关键点、 参考点在第一图像中行坐标和列坐标分 别为 和1)、 a和 d; 在第二图像的搜索范围内获取该参考点的匹配点， 所述搜 索范围是由第 a行中从第 b-DIF列至第 d列构成， 其中， DIF为所述第一图像关 键点的视差； 计算所述参考点与该参考点的匹配点之间的视差， 并将该参考点 作为关键点； 以及
非关键点视差获取模块， 用于选取第一图像中非关键点 （m, n )对应的近 邻关键点 （0 , p ); 在第二图像的第二搜索范围内获取该非关键点的匹配点， 所 述第二搜索范围是由第 m行中从第 n - DIF列至第 p列构成， 其中， DIF为所述 第一图像中近邻关键点的视差； 计算所述非关键点与该非关键点的匹配点之间 的视差。
进一步的， 上述图像获取模块 911 可利用双目摄像机实现， 这时， 需要对 摄像机进行标定。
摄像机标定是为了确定摄像机的内部参数， 如焦距、 镜头失真系数、 不确定 性图像因子， 及外部参数， 如旋转矩阵、 平移矢量， 以便确定成像模型。 标定 过程精确与否， 直接影响了立体视觉***测量的精度。 经过标定处理， 一方面 获得摄像机的内外参数并校正了镜头的非线型畸变； 另一方面使得外极线水平。
在本发明实施例中， 上述装置所使用的双目摄像机应满足如下要求： 使用相同型号、 相同参数的两个相机， 保证两个相机的一致性； 设置两个 相机的焦平面水平， 基线平行； 为了获得较大视场并使图像变形尽量小， 该双 目摄相器的感光器件（如 cmos或者 ccd传感器） 的面积应在 1/3英寸以上； 将 摄像机安装在待检测场景的上方， 由上至下拍摄图像， 以确保目标的头部深度 最大。
进一步的， 所述检测信息为深度图像， 所述检测信息获取单元 91包括： 第一深度图像计算模块， 用于利用获取到的所述背景场景和 /或当前场景的 视差图像计算得到所述背景场景和 /或当前场景的深度图像； 或者，
第二深度图像计算模块， 用于对所述背景场景和 /或当前场景的同一视点下 的图像进行边缘检测； 根据所述边缘检测计算得到所述所述背景场景和 /或当前 场景的深度图像。
进一步的， 所述检测信息为视差图像或深度图像， 所述目标检测单元 92包 括： 初始目标获取模块 921 , 用于利用由所述背景场景的检测信息和当前场景的 检测信息计算获得的目标视差 /深度图像确定初始待检测目标； 目标真伪处理模 测目标；
其中， 所述去伪策略包括：
判断以所述初始待检测目标为中心的目标视差 /深度图像中预定窗口内的视 差 /深度均值是否大于视差 /深度阔值， 若是， 该初始待检测目标为有效目标， 若 否该初始待检测目标为伪目标； 以及，
对当前未进行去伪处理的初始待检测目标， 获取目标视差 /深度图像中以该 初始待检测目标为中心预定窗口内视差 /深度均值最大的目标 objPoint[maxN] , 计算所述所有初始待检测目标与目标 objPoint[maxN]的欧氏距离， 当所述初始待 检测目标与目标 objPoint[maxN]的欧氏距离不小于距离阔值时，该初始待检测目 标为有效目标， 否则， 该初始待检测目标为伪目标， 其中， maxN为所述深度均 值最大的目标的序号； 以及，
获取所述初始待检测目标在当前场景的相应图像中以该目标为中心预定窗 口内最小灰度均值， 计算所有初始待检测目标对应的灰度均值与所述最小灰度 检测目标对应的灰度均值不大于控制阔值时， 该初始待检测目标为有效目标， 否则， 该初始待检测目标为伪目标。
其中， 当利用视差图像进行目标检测时， 上述相应的图像为获取视差图像 时的被匹配图像； 当利用深度图像进行目标检测时， 上述当前场景的相应图像 为当前场景的原图像， 如当利用双目图像的视差图像获取深度图像时， 该原图 像为双目图像中的被匹配图像， 当利用单目图像获取深度图像时， 该单目图像 为原图像。
本发明实施例四中各功能模块的具体工作方式参见本发明的方法实施例。 由上所述， 本发明实施例提供的技术方案， 考虑到立体视觉技术的特点， 充分利用了场景的视差 /深度信息， 利用只包含待检测目标视差 /深度的目标视差 /深度图像进行运动检测， 增强了检测的准确度。
其中， 本发明实施例的技术方案通过一种基于关键点的立体匹配技术， 获 取到准确的目标视差图像以定位目标， 进行目标定位时不局限于目标的某一部 位， 且釆用多种去伪策略进行目标识别， 去除伪目标。
实践证明， 本发明提供的技术方案， 解决了现有技术中存在的问题可以有 效的克服环境影响和目标 "粘连" 问题， 避免了对目标戴帽子时或者穿黑衣服 时造成误检的情况， 以较少的计算量实现了复杂场景下的高精度目标的检测。 本发明实施例五还提供了一种客流检测***， 该***包括运动检测装置和 计数装置， 所述计数装置， 用于根据所述运动检测装置得到的待检测目标计算 得到客流量， 其中， 所述运动检测装置包括：
检测信息获取单元， 用于获取背景场景的检测信息和当前场景的检测信息， 所述当前场景为包括待检测目标和同一背景场景的场景； 目标检测单元， 用于 根据所述背景场景的检测信息和当前场景的检测信息计算得到所述待检测目 标。
该***可用于铁路、 地铁和公交等交通***的自动客流统计， 也适用于任 何需要对运动物体进行检测的情况。 尤其适用于对光线变化比较强烈的场所中， 对目标的检测和标定等。
由上所述， 本发明实施例提供的技术方案， 考虑到场景中原有的背景物体 对待检测目标的影响， 同时利用获取到的背景场景的检测信息和当前场景的检 测信息计算得到所述待检测目标， 有效降低了背景物体对目标检测的影响， 增 强了检测的准确度。 实践证明， 本发明实施例提供的技术方案， 解决了现有技 术中由于仅使用包含待检测目标的场景的深度信息等进行目标检测所带来的问 题， 可以有效的克服环境影响和目标 "粘连" 问题， 以较少的计算量实现了复 杂场景下的高精度目标的检测。
本领域普通技术人员可以理解实现上述实施例中的全部或部分步骤， 可以 通过程序指令相关硬件完成。 所述实施例对应的软件可以存储在一个计算机可 存储读取的介质中。
以上所述， 仅为本发明的具体实施方式， 但本发明的保护范围并不局限于 此， 任何熟悉本技术领域的技术人员在本发明揭露的技术范围内， 可轻易想到 变化或替换， 都应涵盖在本发明的保护范围之内。 因此， 本发明的保护范围应 以权利要求的保护范围为准。

Claims

权 利 要求 书
1、 一种运动检测方法， 其特征在于， 所述方法包括：
获取背景场景的检测信息和当前场景的检测信息， 所述当前场景为包括待 检测目标和同一背景场景的场景；
根据所述背景场景的检测信息和当前场景的检测信息计算得到所述待检测 目标。
2、 根据权利要求 1所述的运动检测方法， 其特征在于，
所述待检测目标根据所述当前场景的检测信息减去所述背景场景的检测信 息计算得到； 或者，
设置第一权重值、 第二权重值和补偿系数； 将所述当前场景的检测信息与 所述第一权重值的乘积， 减去所述背景场景的检测信息与所述第二权重值的乘 积， 得到初始目标检测信息； 所述待检测目标由所述初始目标检测信息和所述 补偿系数计算得到。
3、 根据权利要求 2所述的运动检测方法， 其特征在于， 所述检测信息为视 差图像，
获取所述背景场景和 /或当前场景的第一图像和第二图像；
对第一图像和相应的第二图像分别进行关键点提取， 获取第一图像关键点 和第二图像关键点；
利用所述第一图像关键点和第二图像关键点进行立体匹配， 得到第一图像 关键点在第二图像关键点中对应的匹配点；
计算所述第一图像关键点的视差， 并根据所述视差获取所述背景场景和 /或 当前场景的视差图像。
4、 根据权利要求 3所述的运动检测方法， 其特征在于， 利用所述第一图像 关键点和第二图像关键点进行立体匹配， 得到第一图像关键点在第二图像关键 点中对应的匹配点包括：
获取在第二图像的第 a行中第 b列起向第一图像方向一侧的预定范围内的 各关键点， 其中， 所述 a和 b分别为第一图像中关键点的行坐标和列坐标； 计算所述第一图像关键点（a, b )和所述第一图像关键点（a, b )对应的第 二图像中各关键点的匹配值；
根据所述匹配值确定第一图像关键点 （a, b )在第二图像中的匹配点。
5、 根据权利要求 3所述的运动检测方法， 其特征在于， 计算所述第一图像 关键点的视差并根据所述视差获取视差图像包括：
按照扫描顺序， 将所述第一图像关键点后的下一个扫描点作为参考点， 所 述关键点、 参考点在第一图像中行坐标和列坐标分别为 和1)、 a和 d;
在第二图像的搜索范围内获取该参考点的匹配点， 所述搜索范围是由第 a 行中从第 b-DIF列至第 d列构成， 其中， DIF为所述第一图像关键点的视差； 计算所述参考点与该参考点的匹配点之间的视差， 并将该参考点作为关键 点。
6、 根据权利要求 3所述的运动检测方法， 其特征在于， 计算所述第一图像 关键点的视差并根据所述视差获取视差图像包括：
选取第一图像中非关键点 （m, n )对应的近邻关键点 （0 , p );
在第二图像的第二搜索范围内获取该非关键点的匹配点， 所述第二搜索范 围是由第 m行中从第 n - DIF列至第 p列构成， 其中， DIF为所述第一图像中近 邻关键点的视差；
计算所述非关键点与该非关键点的匹配点之间的视差。
7、 根据权利要求 3所述的运动检测方法， 其特征在于， 所述方法还包括： 提取所述第一图像和第二图像的图像边缘点作为所述关键点， 所述第一图 像和第二图像为所述场景的双目图像。
8、 根据权利要求 3所述的运动检测方法， 其特征在于， 所述方法还包括： 利用 Census准则执行所述第一图像关键点和第二图像关键点的立体匹配； 利用归一化互相关准则根据所述第一图像关键点的视差获取所述视差图 像。
9、 根据权利要求 1所述的运动检测方法， 其特征在于， 所述检测信息为深 度图像， 利用获取到的所述背景场景和 /或当前场景的视差图像计算得到所述背 景场景和 /或当前场景的深度图像； 或者，
对所述背景场景或当前场景的同一视点下的图像进行边缘检测； 根据所述 边缘检测计算得到所述背景场景和 /或当前场景的深度图像。
10、 根据权利要求 2 所述的运动检测方法， 其特征在于， 所述待检测目标 的得到， 还包括：
确定初始待检测目标；
11、 根据权利要求 10所述的运动检测方法， 其特征在于， 所述检测信息为 视差图像或深度图像，
分别获取目标视差 /深度图像水平方向投影和垂直方向投影中的极值点； 将所述水平方向投影的极值点和垂直方向投影的极值点分别两两配对， 确 定所述初始待检测目标；
其中， 所述目标视差 /深度图像由所述背景场景的检测信息和当前场景的检 测信息计算获得。
12、 根据权利要求 10所述的运动检测方法， 其特征在于， 所述去伪策略包 括：
判断以所述初始待检测目标为中心的目标视差 /深度图像中预定窗口内的视 差 /深度均值是否大于视差 /深度阔值， 若是， 该初始待检测目标为有效目标， 若 否该初始待检测目标为伪目标； 以及，
对当前未进行去伪处理的初始待检测目标， 获取目标视差 /深度图像中以该 初始待检测目标为中心预定窗口内视差 /深度均值最大的目标 objPoint[maxN] , 计算所述所有初始待检测目标与目标 objPoint[maxN]的欧氏距离， 当所述初始待 检测目标与目标 objPoint[maxN]的欧氏距离不小于距离阔值时，该初始待检测目 标为有效待检测目标， 否则， 该初始待检测目标为伪目标， 其中， maxN为所述 视差 /深度均值最大的目标的序号； 以及，
获取所述初始待检测目标在当前场景的相应图像中以该目标为中心预定窗 口内最小灰度均值， 计算所有初始待检测目标对应的灰度均值与所述最小灰度 检测目标对应的灰度均值不大于控制阔值时， 该初始待检测目标为有效待检测 目标， 否则， 该初始待检测目标为伪目标。
13、 一种运动检测装置， 其特征在于， 包括：
检测信息获取单元， 用于获取背景场景的检测信息和当前场景的检测信息， 所述当前场景为包括待检测目标和同一背景场景的场景；
目标检测单元， 用于根据所述背景场景的检测信息和当前场景的检测信息 计算得到所述待检测目标。
14、 根据权利要求 13所述的运动检测装置， 其特征在于，
所述目标检测单元， 还用于由所述当前场景的检测信息减去所述背景场景 的检测信息后计算得到所述待检测目标； 或者，
所述目标检测单元， 还用于设置第一权重值、 第二权重值和补偿系数； 将 所述当前场景的检测信息与所述第一权重值的乘积， 减去所述背景场景的检测 信息与所述第二权重值的乘积， 得到初始待检测目标检测信息； 由所述初始待 检测目标检测信息和所述补偿系数计算得到所述待检测目标。
15、 根据权利要求 13所述的运动检测装置， 其特征在于， 所述检测信息为 视差图像， 所述检测信息获取单元包括：
图像获取模块， 用于获取背景场景或当前场景的第一图像和第二图像； 关键点提取模块， 用于对第一图像和第二图像分别进行关键点提取， 获取 第一图像关键点和第二图像关键点；
关键点匹配模块， 用于利用所述第一图像关键点和第二图像关键点进行立 体匹配， 得到第一图像关键点在第二图像关键点中对应的匹配点；
视差图像获取模块， 用于计算所述第一图像关键点的视差并根据所述视差 获取所述背景场景或当前场景的视差图像。
16、 根据权利要求 13所述的运动检测装置， 其特征在于， 所述检测信息为 深度图像， 所述检测信息获取单元包括： 第一深度图像计算模块， 用于利用获取到的所述背景场景和 /或当前场景的 视差图像计算得到所述背景场景和 /或当前场景的深度图像； 或者，
第二深度图像计算模块， 用于对所述背景场景和 /或当前场景的同一视点下 的图像进行边缘检测； 根据所述边缘检测计算得到所述所述背景场景和 /或当前 场景的深度图像。
17、 根据权利要求 15所述的运动检测装置， 其特征在于， 所述关键点匹配 模块， 还用于获取在第二图像的第 a行中第 b列起向第一图像方向一侧的预定 范围内的各关键点， 其中， 所述 a和 b分别为第一图像中关键点的行坐标和列 坐标； 计算所述第一图像关键点（a, b )和所述第一图像关键点（a, b )对应的 第二图像中各关键点的匹配值； 根据所述匹配值确定第一图像关键点 （a, b ) 在第二图像中的匹配点。
18、 根据权利要求 15所述的运动检测装置， 其特征在于， 所述视差图像获 取模块包括：
参考点视差获取模块， 用于按照扫描顺序， 将所述第一图像关键点后的下 一个扫描点作为参考点， 所述关键点、 参考点在第一图像中行坐标和列坐标分 别为 和1)、 a和 d; 在第二图像的搜索范围内获取该参考点的匹配点， 所述搜 索范围是由第 a行中从第 b-DIF列至第 d列构成， 其中， DIF为所述第一图像关 键点的视差； 计算所述参考点与该参考点的匹配点之间的视差， 并将该参考点 作为关键点； 以及
非关键点视差获取模块， 用于选取第一图像中非关键点 （m, n )对应的近 邻关键点 （0 , p ); 在第二图像的第二搜索范围内获取该非关键点的匹配点， 所 述第二搜索范围是由第 m行中从第 n - DIF列至第 p列构成， 其中， DIF为所述 第一图像中近邻关键点的视差； 计算所述非关键点与该非关键点的匹配点之间 的视差。
19、 根据权利要求 13所述的运动检测装置， 其特征在于， 所述检测信息为 视差图像或深度图像， 所述目标检测单元包括：
初始目标获取模块， 用于利用由所述背景场景的检测信息和当前场景的检 测信息计算获得的目标视差 /深度图像确定初始待检测目标； 标， 确定有效待检测目标；
其中， 所述去伪策略包括：
判断以所述初始待检测目标为中心的目标视差 /深度图像中预定窗口内的视 差 /深度均值是否大于视差 /深度阔值， 若是， 该初始待检测目标为有效目标， 若 否该初始待检测目标为伪目标； 以及，
对当前未进行去伪处理的初始待检测目标， 获取目标视差 /深度图像中以该 初始待检测目标为中心预定窗口内视差 /深度均值最大的目标 objPoint[maxN] , 计算所述所有初始待检测目标与目标 objPoint[maxN]的欧氏距离， 当所述初始待 检测目标与目标 objPoint[maxN]的欧氏距离不小于距离阔值时，该初始待检测目 标为有效目标， 否则， 该初始待检测目标为伪目标， 其中， maxN为所述深度均 值最大的目标的序号； 以及，
获取所述初始待检测目标在当前场景的相应图像中以该目标为中心预定窗 口内最小灰度均值， 计算所有初始待检测目标对应的灰度均值与所述最小灰度 检测目标对应的灰度均值不大于控制阔值时， 该初始待检测目标为有效目标， 否则， 该初始待检测目标为伪目标。
20、 一种客流检测***， 该***包括运动检测装置和计数装置， 所述计数 装置， 用于根据所述运动检测装置得到的待检测目标计算得到客流量， 其特征 在于，
所述运动检测装置包括：
检测信息获取单元， 用于获取背景场景的检测信息和当前场景的检测信息， 所述当前场景为包括待检测目标和同一背景场景的场景；
目标检测单元， 用于根据所述背景场景的检测信息和当前场景的检测信息 计算得到所述待检测目标。
PCT/CN2009/075257 2009-04-28 2009-12-02 一种运动检测方法、装置和*** WO2010124497A1 (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
AU2009311052A AU2009311052B2 (en) 2009-04-28 2009-12-02 Motion detection method, apparatus and system
US12/745,416 US8385595B2 (en) 2009-04-28 2009-12-02 Motion detection method, apparatus and system
EP09825631.6A EP2426642B1 (en) 2009-04-28 2009-12-02 Method, device and system for motion detection

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN200910135766A CN101527046B (zh) 2009-04-28 2009-04-28 一种运动检测方法、装置和***
CN200910135766.X 2009-04-28

Publications (1)

Publication Number Publication Date
WO2010124497A1 true WO2010124497A1 (zh) 2010-11-04

Family

ID=41094903

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2009/075257 WO2010124497A1 (zh) 2009-04-28 2009-12-02 一种运动检测方法、装置和***

Country Status (5)

Country Link
US (1) US8385595B2 (zh)
EP (1) EP2426642B1 (zh)
CN (1) CN101527046B (zh)
AU (1) AU2009311052B2 (zh)
WO (1) WO2010124497A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110211670A (zh) * 2019-05-14 2019-09-06 广州虎牙信息科技有限公司 指标预测方法、装置、电子设备及存储介质
CN111615047A (zh) * 2019-05-14 2020-09-01 北京精准沟通传媒科技股份有限公司 一种实时客流统计的方法、装置、存储介质及电子设备

Families Citing this family (105)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4336447A1 (en) 2008-05-20 2024-03-13 FotoNation Limited Capturing and processing of images using monolithic camera array with heterogeneous imagers
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
CN101527046B (zh) * 2009-04-28 2012-09-05 青岛海信数字多媒体技术国家重点实验室有限公司 一种运动检测方法、装置和***
EP2502115A4 (en) 2009-11-20 2013-11-06 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES THROUGH A MONOLITHIC CAMERA ARRAY WITH HETEROGENIC IMAGE CONVERTER
CN101739553B (zh) * 2009-12-10 2012-01-11 青岛海信网络科技股份有限公司 一种视差图像中目标识别方法
CN101847265A (zh) * 2010-04-20 2010-09-29 上海理工大学 一种在公交客流统计***中使用的运动目标提取及多目标分割方法
SG10201503516VA (en) 2010-05-12 2015-06-29 Pelican Imaging Corp Architectures for imager arrays and array cameras
DE102010024666A1 (de) * 2010-06-18 2011-12-22 Hella Kgaa Hueck & Co. Verfahren zur optischen Selbstdiagnose eines Kamerasystems und Vorrichtung zur Durchführung eines solchen Verfahrens
DE102010030616A1 (de) * 2010-06-28 2011-12-29 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erkennen eines Störobjekts in einem Kamerabild
KR20120004203A (ko) * 2010-07-06 2012-01-12 삼성전자주식회사 디스플레이 방법 및 장치
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
CN102129550B (zh) * 2011-02-17 2013-04-17 华南理工大学 场景感知方法
CN107404609B (zh) 2011-05-11 2020-02-11 快图有限公司 用于传送阵列照相机图像数据的方法
JP5507014B2 (ja) * 2011-08-10 2014-05-28 富士フイルム株式会社 動体検出装置及び方法
CN102316307B (zh) * 2011-08-22 2013-09-25 安科智慧城市技术（中国）有限公司 一种道路交通视频检测方法及装置
WO2013043751A1 (en) 2011-09-19 2013-03-28 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super resolution processing using pixel apertures
US8542933B2 (en) 2011-09-28 2013-09-24 Pelican Imaging Corporation Systems and methods for decoding light field image files
JP5679456B2 (ja) * 2011-12-05 2015-03-04 サクサ株式会社 人検出装置、人検出方法及び人検出プログラム
EP2817955B1 (en) 2012-02-21 2018-04-11 FotoNation Cayman Limited Systems and methods for the manipulation of captured light field image data
US9210392B2 (en) 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
CN103424105B (zh) * 2012-05-16 2016-02-10 株式会社理光 对象检测方法和装置
CN104508681B (zh) 2012-06-28 2018-10-30 Fotonation开曼有限公司 用于检测有缺陷的相机阵列、光学器件阵列和传感器的***及方法
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
SG11201500910RA (en) 2012-08-21 2015-03-30 Pelican Imaging Corp Systems and methods for parallax detection and correction in images captured using array cameras
WO2014032020A2 (en) 2012-08-23 2014-02-27 Pelican Imaging Corporation Feature based high resolution motion estimation from low resolution images captured using an array source
US8948497B2 (en) * 2012-09-04 2015-02-03 Digital Signal Corporation System and method for increasing resolution of images obtained from a three-dimensional measurement system
WO2014052974A2 (en) 2012-09-28 2014-04-03 Pelican Imaging Corporation Generating images from light fields utilizing virtual viewpoints
US9143711B2 (en) 2012-11-13 2015-09-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
DE102013200817A1 (de) * 2013-01-18 2014-07-24 Hella Kgaa Hueck & Co. Verfahren zur Erkennung einer Belegung einer überwachten Zone
US9462164B2 (en) 2013-02-21 2016-10-04 Pelican Imaging Corporation Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information
US9374512B2 (en) 2013-02-24 2016-06-21 Pelican Imaging Corporation Thin form factor computational array cameras and modular array cameras
US9774789B2 (en) 2013-03-08 2017-09-26 Fotonation Cayman Limited Systems and methods for high dynamic range imaging using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US9519972B2 (en) 2013-03-13 2016-12-13 Kip Peli P1 Lp Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US9124831B2 (en) 2013-03-13 2015-09-01 Pelican Imaging Corporation System and methods for calibration of an array camera
US9888194B2 (en) 2013-03-13 2018-02-06 Fotonation Cayman Limited Array camera architecture implementing quantum film image sensors
US9106784B2 (en) 2013-03-13 2015-08-11 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
WO2014159779A1 (en) 2013-03-14 2014-10-02 Pelican Imaging Corporation Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US9100586B2 (en) 2013-03-14 2015-08-04 Pelican Imaging Corporation Systems and methods for photometric normalization in array cameras
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
EP2973476A4 (en) 2013-03-15 2017-01-18 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
EP2818824B1 (de) * 2013-06-28 2015-09-16 Sick Ag Vorrichtung umfassend einen optoelektronischen 3D-Sensor und Verfahren zum Erkennen von Objekten
CN104424648B (zh) * 2013-08-20 2018-07-24 株式会社理光 对象跟踪方法和设备
WO2015048694A2 (en) 2013-09-27 2015-04-02 Pelican Imaging Corporation Systems and methods for depth-assisted perspective distortion correction
WO2015070105A1 (en) 2013-11-07 2015-05-14 Pelican Imaging Corporation Methods of manufacturing array camera modules incorporating independently aligned lens stacks
US10119808B2 (en) 2013-11-18 2018-11-06 Fotonation Limited Systems and methods for estimating depth from projected texture using camera arrays
EP3075140B1 (en) 2013-11-26 2018-06-13 FotoNation Cayman Limited Array camera configurations incorporating multiple constituent array cameras
CN104299190B (zh) * 2014-02-25 2017-02-15 河南科技大学 线阵扫描图像的矫正方法与装置
WO2015134996A1 (en) 2014-03-07 2015-09-11 Pelican Imaging Corporation System and methods for depth regularization and semiautomatic interactive matting using rgb-d images
US9521319B2 (en) 2014-06-18 2016-12-13 Pelican Imaging Corporation Array cameras and array camera modules including spectral filters disposed outside of a constituent image sensor
EP3201877B1 (en) 2014-09-29 2018-12-19 Fotonation Cayman Limited Systems and methods for dynamic calibration of array cameras
US9378554B2 (en) 2014-10-09 2016-06-28 Caterpillar Inc. Real-time range map generation
US9449397B2 (en) 2014-10-15 2016-09-20 Caterpillar Inc. Real-time visual odometry system for determining motion of a machine with a range detection unit
EP3238015A4 (en) 2014-12-22 2019-01-23 Robert Bosch GmbH VISUAL CONTEXT SENSITIVE SYSTEM BASED ON A FIRST PERSON CAMERA
CN104658009A (zh) * 2015-01-09 2015-05-27 北京环境特性研究所 一种基于视频图像的运动目标检测方法
US10277888B2 (en) * 2015-01-16 2019-04-30 Qualcomm Incorporated Depth triggered event feature
CN104657993B (zh) * 2015-02-12 2018-04-17 北京格灵深瞳信息技术有限公司 一种镜头遮挡检测方法及装置
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
CN106295788B (zh) 2015-05-12 2019-01-08 杭州海康威视数字技术股份有限公司 客流量的统计方法及装置
CN106296721B (zh) * 2015-05-14 2019-01-25 株式会社理光 基于立体视觉的对象聚集检测方法和装置
CN104994360B (zh) * 2015-08-03 2018-10-26 北京旷视科技有限公司 视频监控方法和视频监控***
EP3139346B1 (en) * 2015-09-01 2019-01-16 Veoneer Sweden AB Vision system for a motor vehicle and method of controlling a vision system
TWI553591B (zh) * 2015-12-28 2016-10-11 緯創資通股份有限公司 深度影像處理方法及深度影像處理系統
CN106356757B (zh) * 2016-08-11 2018-03-20 河海大学常州校区 一种基于人眼视觉特性的电力线路无人机巡检方法
CN106355560B (zh) * 2016-08-30 2019-03-01 潍坊学院 一种雾霾图像中大气光值的提取方法及***
CN106485697B (zh) * 2016-09-22 2019-03-08 成都通甲优博科技有限责任公司 一种基于双目视觉的路面沉降和异物检测方法
CN106485361A (zh) * 2016-10-18 2017-03-08 吴江智远信息科技发展有限公司 一种基于IPv6的智慧公交管理平台
WO2018095278A1 (zh) 2016-11-24 2018-05-31 腾讯科技（深圳）有限公司 飞行器的信息获取方法、装置及设备
CN106815856B (zh) * 2017-01-13 2019-07-16 大连理工大学 一种面阵摄像机旋转扫描下的动目标鲁棒检测方法
CN107240111B (zh) * 2017-06-14 2021-03-26 郑州天迈科技股份有限公司 边沿连通分割客流统计方法
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
TWI658431B (zh) * 2017-10-02 2019-05-01 緯創資通股份有限公司 影像處理方法、影像處理裝置及電腦可讀取記錄媒體
CN108171682B (zh) * 2017-12-04 2022-04-19 北京中科慧眼科技有限公司 基于远景的双目同步曝光率检测方法、***及存储介质
US10847048B2 (en) * 2018-02-23 2020-11-24 Frontis Corp. Server, method and wearable device for supporting maintenance of military apparatus based on augmented reality using correlation rule mining
CN108470356B (zh) * 2018-03-15 2020-08-11 浙江工业大学 一种基于双目视觉的目标对象快速测距方法
CN109495718B (zh) * 2018-11-02 2021-04-30 深圳市北斗智能科技有限公司 监控视频获取方法、装置及计算机可读存储介质
SE1830320A1 (en) * 2018-11-03 2020-05-04 Tracy Of Sweden Ab Method and arrangement for identifying object
CN109685141B (zh) * 2018-12-25 2022-10-04 合肥哈工慧拣智能科技有限公司 一种基于深度神经网络的机器人物品分拣视觉检测方法
JP7426611B2 (ja) * 2019-01-24 2024-02-02 パナソニックＩｐマネジメント株式会社 校正方法および校正装置
CN111563397B (zh) * 2019-02-13 2023-04-18 阿里巴巴集团控股有限公司 检测方法、装置、智能设备及计算机存储介质
CN110342134B (zh) * 2019-07-23 2023-06-09 珠海一微半导体股份有限公司 一种基于双目视觉的垃圾分类识别***及其方法
RU193195U1 (ru) * 2019-07-25 2019-10-16 Федеральное государственное бюджетное образовательное учреждение высшего образования "Орловский государственный университет имени И.С. Тургенева" (ФГБОУ ВО "ОГУ имени И.С. Тургенева") Устройство для счета пассажиров
CN110555419B (zh) * 2019-09-09 2023-05-26 江苏慧眼数据科技股份有限公司 基于双目立体视觉的客流计数方法
BR112022004811A2 (pt) 2019-09-17 2022-06-21 Boston Polarimetrics Inc Sistemas e métodos para modelagem de superfície usando indicações de polarização
CN110673607B (zh) * 2019-09-25 2023-05-16 优地网络有限公司 动态场景下的特征点提取方法、装置、及终端设备
JP2022552833A (ja) 2019-10-07 2022-12-20 ボストン ポーラリメトリックス，インコーポレイティド 偏光による面法線計測のためのシステム及び方法
CN110674817B (zh) * 2019-11-21 2020-11-20 深圳市芊熠智能硬件有限公司 一种基于双目摄像头的车牌防伪的方法及装置
CN114787648B (zh) 2019-11-30 2023-11-10 波士顿偏振测定公司 用于使用偏振提示进行透明对象分段的***和方法
CN113096154B (zh) * 2020-01-08 2023-02-21 浙江光珀智能科技有限公司 一种基于斜装深度相机的目标检测与跟踪方法及***
CN111292354B (zh) * 2020-01-22 2023-07-28 维沃移动通信有限公司 误检测抑制方法及电子设备
US11195303B2 (en) 2020-01-29 2021-12-07 Boston Polarimetrics, Inc. Systems and methods for characterizing object pose detection and measurement systems
CN115428028A (zh) 2020-01-30 2022-12-02 因思创新有限责任公司 用于合成用于在包括偏振图像的不同成像模态下训练统计模型的数据的***和方法
CN111475233B (zh) * 2020-04-08 2023-07-18 腾讯云计算（北京）有限责任公司 信息获取方法、图形码生成方法以及装置
CN111488824B (zh) * 2020-04-09 2023-08-08 北京百度网讯科技有限公司 运动提示方法、装置、电子设备和存储介质
WO2021243088A1 (en) 2020-05-27 2021-12-02 Boston Polarimetrics, Inc. Multi-aperture polarization optical systems using beam splitters
CN112347909B (zh) * 2020-11-05 2022-07-26 上海蜂雀网络科技有限公司 一种零售门店出入口客流统计方法
US12020455B2 (en) 2021-03-10 2024-06-25 Intrinsic Innovation Llc Systems and methods for high dynamic range image reconstruction
CN112967332B (zh) * 2021-03-16 2023-06-16 清华大学 基于门控成像的双目深度估计方法、装置及计算机设备
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers
CN113344649A (zh) * 2021-08-05 2021-09-03 江西合一云数据科技有限公司 社会调查大数据构建***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5574762A (en) * 1994-08-31 1996-11-12 Nippon Telegraph And Telephone Corp. Method and apparatus for directional counting of moving objects
CN1731456A (zh) * 2005-08-04 2006-02-08 浙江大学 基于立体视觉的公交客流统计方法及其***
CN101325690A (zh) * 2007-06-12 2008-12-17 上海正电科技发展有限公司 监控视频流中人流分析与人群聚集过程的检测方法及***
CN101527046A (zh) * 2009-04-28 2009-09-09 青岛海信数字多媒体技术国家重点实验室有限公司 一种运动检测方法、装置和***

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU1930700A (en) * 1998-12-04 2000-06-26 Interval Research Corporation Background estimation and segmentation based on range and color
US6658136B1 (en) * 1999-12-06 2003-12-02 Microsoft Corporation System and process for locating and tracking a person or object in a scene using a series of range images
US7522186B2 (en) * 2000-03-07 2009-04-21 L-3 Communications Corporation Method and apparatus for providing immersive surveillance
US6771818B1 (en) * 2000-04-04 2004-08-03 Microsoft Corporation System and process for identifying and locating people or objects in a scene by selectively clustering three-dimensional regions
US7139409B2 (en) * 2000-09-06 2006-11-21 Siemens Corporate Research, Inc. Real-time crowd density estimation from video
US7003136B1 (en) * 2002-04-26 2006-02-21 Hewlett-Packard Development Company, L.P. Plan-view projections of depth image data for object tracking
US7623674B2 (en) * 2003-11-05 2009-11-24 Cognex Technology And Investment Corporation Method and system for enhanced portal security through stereoscopy
CN101231755B (zh) * 2007-01-25 2013-03-06 上海遥薇(集团)有限公司 运动目标跟踪及数量统计方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5574762A (en) * 1994-08-31 1996-11-12 Nippon Telegraph And Telephone Corp. Method and apparatus for directional counting of moving objects
CN1731456A (zh) * 2005-08-04 2006-02-08 浙江大学 基于立体视觉的公交客流统计方法及其***
CN101325690A (zh) * 2007-06-12 2008-12-17 上海正电科技发展有限公司 监控视频流中人流分析与人群聚集过程的检测方法及***
CN101527046A (zh) * 2009-04-28 2009-09-09 青岛海信数字多媒体技术国家重点实验室有限公司 一种运动检测方法、装置和***

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110211670A (zh) * 2019-05-14 2019-09-06 广州虎牙信息科技有限公司 指标预测方法、装置、电子设备及存储介质
CN111615047A (zh) * 2019-05-14 2020-09-01 北京精准沟通传媒科技股份有限公司 一种实时客流统计的方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
AU2009311052A1 (en) 2010-11-11
US20110044502A1 (en) 2011-02-24
US8385595B2 (en) 2013-02-26
CN101527046B (zh) 2012-09-05
EP2426642A1 (en) 2012-03-07
EP2426642A4 (en) 2013-11-20
EP2426642B1 (en) 2015-09-30
AU2009311052B2 (en) 2013-07-18
CN101527046A (zh) 2009-09-09

Similar Documents

Publication Publication Date Title
WO2010124497A1 (zh) 一种运动检测方法、装置和***
CN110569704B (zh) 一种基于立体视觉的多策略自适应车道线检测方法
CN105225482B (zh) 基于双目立体视觉的车辆检测***和方法
CN104883556B (zh) 基于增强现实的三维显示方法和增强现实眼镜
KR100513055B1 (ko) 변이지도 및 깊이지도의 융합을 통한 3차원 장면 모델생성 장치 및 그 방법
JP5631581B2 (ja) 道路認識装置
KR20160062880A (ko) 카메라 및 레이더를 이용한 교통정보 관리시스템
CN105551020B (zh) 一种检测目标物尺寸的方法及装置
CN102982334B (zh) 基于目标边缘特征与灰度相似性的稀疏视差获取方法
KR101510312B1 (ko) 복수의 카메라들을 이용한 3d 얼굴 모델링 장치, 시스템 및 방법
CN110717445B (zh) 一种用于自动驾驶的前车距离跟踪***与方法
CN101877131A (zh) 一种目标识别方法、装置及目标识别***
JP3729025B2 (ja) 歩行者検知装置
CN112836634B (zh) 一种多传感器信息融合的闸机防尾随方法、装置、设备和介质
JPH09297849A (ja) 車両検出装置
JP2005217883A (ja) ステレオ画像を用いた道路平面領域並びに障害物検出方法
JP3988574B2 (ja) 画像処理装置
JP2011232965A (ja) 平面領域検出装置及びステレオカメラシステム
US20200193184A1 (en) Image processing device and image processing method
CN102713511A (zh) 车辆用距离计算装置
JP4696925B2 (ja) 画像処理装置
JP4272538B2 (ja) 移動物体検出装置、移動物体検出方法及び移動物体検出プログラム
Itu et al. An efficient obstacle awareness application for android mobile devices
CN108090930A (zh) 基于双目立体相机的障碍物视觉检测***及方法
CN113706599B (zh) 一种基于伪标签融合的双目深度估计方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2009311052

Country of ref document: AU

WWE Wipo information: entry into national phase

Ref document number: 2009825631

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 12745416

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09825631

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE