WO2019001505A1 - 一种目标特征提取方法、装置及应用*** - Google Patents

一种目标特征提取方法、装置及应用*** Download PDF

Info

Publication number
WO2019001505A1
WO2019001505A1 PCT/CN2018/093291 CN2018093291W WO2019001505A1 WO 2019001505 A1 WO2019001505 A1 WO 2019001505A1 CN 2018093291 W CN2018093291 W CN 2018093291W WO 2019001505 A1 WO2019001505 A1 WO 2019001505A1
Authority
WO
WIPO (PCT)
Prior art keywords
target
tracking target
video data
tracking
preset
Prior art date
Application number
PCT/CN2018/093291
Other languages
English (en)
French (fr)
Inventor
车军
Original Assignee
杭州海康威视数字技术股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 杭州海康威视数字技术股份有限公司 filed Critical 杭州海康威视数字技术股份有限公司
Priority to US16/627,017 priority Critical patent/US11398084B2/en
Priority to EP18823010.6A priority patent/EP3648448B1/en
Publication of WO2019001505A1 publication Critical patent/WO2019001505A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Definitions

  • the present application relates to the field of computer vision technology, and in particular, to a target feature extraction method, apparatus, and application system.
  • wide-angle cameras and telephoto cameras can be used to capture video in a certain area.
  • Wide-angle cameras are mainly used to capture video of large-range and long-distance targets, and telephoto cameras are used to shoot close-range targets at a certain angle of view.
  • Video In practical applications, a wide-angle camera and a telephoto camera can be combined to capture video in a target area, and then video structure technology is used to extract target information in the video.
  • the method for extracting a target in a video organization process mainly includes: capturing a video data in a monitoring area by using a wide-angle camera, and using background modeling to extract a target in the video data and a spatiotemporal position of each target.
  • the telephoto camera is controlled to perform tracking shooting for each target, the video data of each target is obtained, and the feature image in the video data of each target is extracted.
  • the purpose of the embodiments of the present application is to provide a target feature extraction method, apparatus, and application system to improve the accuracy of attribute information of an extraction target.
  • the specific technical solutions are as follows:
  • an embodiment of the present application provides a method for extracting a target feature, including:
  • Extracting attribute information of the tracking target in the close-up video data Extracting attribute information of the tracking target in the close-up video data.
  • the step of determining, by the target detection algorithm, the tracking target having the preset feature in the target area video data includes:
  • the preset target detection feature being a set of targets having preset features.
  • the step of assigning the tracking target to a detail camera, so that the detail camera tracks the tracking target and acquiring close-up video data of the tracking target includes:
  • the step of extracting attribute information of the tracking target in the close-up video data includes:
  • Extracting at least one attribute information of the tracking target in the close-up video frame with the highest score result Extracting at least one attribute information of the tracking target in the close-up video frame with the highest score result.
  • the method further includes:
  • the identifier information is: after determining a tracking target having a preset feature in the target area video data, respectively Identify each tracking target;
  • the target index is stored, and if so, the target index is discarded.
  • the embodiment of the present application provides a target feature extraction apparatus, including:
  • An acquiring unit configured to acquire target area video data captured by the panoramic camera
  • a determining unit configured to determine, by using a target detection algorithm, a tracking target having a preset feature in the video data of the target area;
  • An allocating unit configured to allocate the tracking target to a detail camera, so that the detail camera tracks the tracking target and acquire close-up video data of the tracking target;
  • an extracting unit configured to extract attribute information of the tracking target in the close-up video data.
  • the determining unit is specifically configured to:
  • the allocating unit is specifically configured to:
  • the extracting unit is specifically configured to:
  • the device further includes:
  • An indexing unit configured to establish a target index for the tracking target according to the identifier information of the tracking target and the at least one attribute information; the identifier information is: determining that the target area video data has a preset feature After tracking the target, each tracking target is identified;
  • a determining unit configured to determine whether the target index matches the stored index
  • a processing unit configured to: if the target index does not match the stored index, store the target index, and if the target index matches the stored index, discard the target index.
  • an embodiment of the present application provides a target feature extraction application system, including: a panoramic camera, a video processor, and a detail camera;
  • the panoramic camera is configured to capture video data of a target area
  • the video processor is configured to acquire target area video data captured by the panoramic camera; determine, by the target detection algorithm, a tracking target having a preset feature in the target area video data; and assign the tracking target to the detail camera to Having the detail camera track the tracking target and acquiring close-up video data of the tracking target; extracting attribute information of the tracking target in the close-up video data;
  • the detail camera is configured to track the tracking target and acquire close-up video data of the tracking target.
  • the video processor is specifically configured to:
  • the video processor is specifically configured to:
  • the video processor is specifically configured to:
  • the video processor is further configured to:
  • the identifier information is: after determining a tracking target having a preset feature in the target area video data, respectively Identifying each tracking target; determining whether the target index matches the stored index; if not, storing the target index, and if so, discarding the target index.
  • the embodiment of the present application further provides a computer device, including a processor, a communication interface, a memory, and a communication bus, wherein the processor, the communication interface, and the memory complete communication with each other through a communication bus;
  • a memory for storing a computer program
  • the processor when used to execute a program stored on the memory, implements the target feature extraction method steps described in the present application.
  • the embodiment of the present application further provides a computer readable storage medium, where the computer readable storage medium stores a computer program, and when the computer program is executed by the processor, the target feature extraction described in the present application is implemented. Method steps.
  • a target feature extraction method, apparatus and application system provided by an embodiment of the present application, wherein a target feature extraction method is applied to a video processor in a target feature extraction application system, and the video processor can acquire a target area video captured by a panoramic camera Data, and the video processor can determine a tracking target with preset features in the target area video data by using a target detection algorithm, and the video processor can assign the tracking target to the detail camera, so that the detail camera tracks the tracking target and Obtaining close-up video data of the tracking target, and further, the video processor can extract attribute information of the tracking target in the close-up video data.
  • the video processor can determine the tracking target with the preset feature in the target area video data by using the target detection algorithm, so that the video processor can select the target in the target area video that meets the user's requirements, and then, the video The processor can extract the attribute information of each target according to the selected target, and improve the accuracy of the attribute information of the extraction target.
  • the video processor can determine the tracking target with the preset feature in the target area video data by using the target detection algorithm, so that the video processor can select the target in the target area video that meets the user's requirements, and then, the video The processor can extract the attribute information of each target according to the selected target, and improve the accuracy of the attribute information of the extraction target.
  • FIG. 1 is a flowchart of a method for extracting a target feature according to an embodiment of the present application
  • FIG. 2 is another flowchart of a method for extracting a target feature according to an embodiment of the present application
  • FIG. 3 is a schematic structural diagram of a target feature extraction apparatus according to an embodiment of the present application.
  • FIG. 4 is another schematic structural diagram of a target feature extraction apparatus according to an embodiment of the present application.
  • FIG. 5 is a schematic structural diagram of a target feature extraction application system according to an embodiment of the present disclosure.
  • FIG. 6 is a schematic structural diagram of a computer device according to an embodiment of the present application.
  • the video data of the monitoring area is mainly photographed by the wide-angle camera, and then the target time and space position in the video data is acquired, and for each target, a telephoto camera is used for tracking shooting, and each is obtained.
  • a telephoto camera is used for tracking shooting, and each is obtained.
  • Feature image of the target when an unexpected situation occurs, for example, camera shake, illumination changes, sudden changes in shooting scenes (eg, spills on the ground), etc., may cause the camera to capture false targets, thereby affecting the accuracy of the extracted target, robust Not very sexual.
  • the targets that are glued together may be tracked as an overall target, so that It is impossible to accurately extract the target features and attributes.
  • the embodiment of the present application provides a process of the target feature extraction method. As shown in FIG. 1 , the process may include the following steps:
  • the method provided by the embodiment of the present application may be applied to a video processor, which may be integrated into a panoramic camera, or integrated into a terminal device (for example, a computer), or the video processor may be an electronic device. .
  • the panoramic camera may be one or more wide-angle cameras, and the number of wide-angle cameras may be determined according to the size of the target area. For example, if a wide-angle camera is sufficient to monitor the target area, a wide-angle camera is installed in the target area, and if the wide-angle camera's monitoring range cannot fully monitor the target area, at least two wide-angle cameras can be installed.
  • the panoramic camera may also be a camera composed of a plurality of lenses, which is not limited herein.
  • the panoramic camera can capture the target area
  • the video processor can acquire the target area video data captured by the panoramic camera.
  • S102 Determine, by using a target detection algorithm, a tracking target having a preset feature in the target area video data.
  • the target detection algorithm may include: Boosting (by constructing a series of prediction functions, combining prediction function series into a prediction function in a certain way), RCNN (Region Convolution Neural Network Target Detection Algorithm, Region with CNN), FRCNN ( Fast regional convolutional neural network target detection algorithm), Faster RCNN (faster regional convolutional neural network target detection algorithm), etc., but is not limited thereto.
  • any target algorithm may be used to process the video data of the target area to obtain a tracking target, where each Tracking targets have preset features.
  • the preset features of the vehicle may include, but are not limited to, license plate information, vehicle lights, vehicle type (truck, car, off-road vehicle, etc.), body color, and the like.
  • the video processor may acquire at least one video frame that is temporally continuous in the video data of the target area, and process the acquired video frame by using the foregoing target detection algorithm, that is, the video processor may pass the pre-processing.
  • the target detection model is configured to extract the image features in the at least one video frame.
  • the preset target detection model may be obtained by training the plurality of targets based on the preset features.
  • the preset target detection model is specifically : A model obtained by training a large number of target samples through a convolutional neural network.
  • the video processor can match the acquired image feature with the preset target detection feature, and determine the image feature that matches the preset target detection feature as the tracking target.
  • the preset target detection feature is a set of targets having preset features.
  • the preset target detection feature may include: a feature of a person and/or a feature of the vehicle, but is not limited thereto.
  • the characteristics of the person may include: hair, arm, hand, gender, clothing style, whether to wear glasses, etc., but are not limited thereto
  • the characteristics of the vehicle may include, but are not limited to, the size of the vehicle, the model of the vehicle, the color of the vehicle, and the like.
  • a preset target detection model can be obtained by training a large amount of sample data (for example, sample data for 100 people) into a convolutional neural network.
  • sample data for example, sample data for 100 people
  • the embodiments of the present application can adopt related technologies for different targets such as people, motor vehicles, and non-motor vehicles, and obtain preset target detection models corresponding to different sample data.
  • the tracking target may be allocated to the detail camera according to the number of tracking targets. For example, when there is only one tracking target, the tracking target can be assigned to any of the detail cameras, or the tracking target can be assigned to the detail camera closest to the tracking target. When the number of tracking targets is large, multiple tracking targets can be assigned to one or more detail cameras. In this way, the detail camera can perform tracking shooting according to the assigned tracking target, and obtain close-up video data of the tracking target.
  • the detail camera may include one or more zoom cameras, each detail camera may carry a pan/tilt head, the pan/tilt head is rotatable, and the pitch angle of the pan/tilt head is variable, and the video processor can control the gimbal To control the shooting angle and direction of each detail camera, but it is not limited to this.
  • the video processor may acquire the first coordinate of each tracking target in the video frame of the target area video, where the first coordinate is the tracking target in the target area.
  • Each position in the target area corresponds to one coordinate, and the video processor can obtain the coordinate position of the tracking target in the target area according to the position of the tracking target in the video frame.
  • the video processor can assign a detail camera to each tracking target according to the first coordinate.
  • each detail camera may be uniformly set in the target area in advance, and if the first coordinate (x 1 , y 2 , z 3 ) of the tracking target A is closest to the detail camera a in the target area, The detail camera a is assigned to the tracking target A.
  • the video processor may convert the first coordinate of each tracking target into a second coordinate of each tracking target in the assigned detail camera, and send the second coordinate and the tracking target to the assigned detail camera, such that The detail camera can track and record the assigned tracking target, and then the detail camera can capture close-up video data of the tracking target.
  • the first coordinate of each tracking target corresponds to a different second coordinate at a different detail camera.
  • the above-mentioned close-up video data in the embodiment of the present application may be video data in which the ratio of the size of the included tracking target to the size of the video frame exceeds a preset ratio; or may be video data including only the tracking target; It can also be the video data of the included tracking target at the specified position, for example, the position of the included tracking target in the middle of the video frame.
  • tracking targets include: tracking target A (first coordinates: x 11 , y 12 , z 13 ), tracking target B (first coordinates: x 21 , y 22 , z 23 ), tracking target C (first coordinate: x 31 , y 32 , z 33 ),
  • the detail camera includes: detail camera a, detail camera b, detail camera c and detail camera d, because the position of each detail camera is different, the second coordinate of the tracking target in the detail camera is different
  • the video processor can assign the tracking target A to the detail camera b, and the video processor can convert the first coordinate of the tracking target A: (x 11 , y 12 , z 13 ) into the tracking target A in the detail camera b Two coordinates (P b1 , T b2 , Z b3 ), whereby the detail camera b tracks the tracking target A in the target area with the second coordinates (P b1 , T b2 , Z b3 ), and acquires close-up video data of the tracking
  • the video processor can assign the tracking target A to the detail camera c, and then the video processor can convert the first coordinate of the tracking target A: (x 11 , y 12 , z 13 ) into the tracking target A in the detail camera c
  • the second coordinates (P c1 , T c2 , Z c3 ) whereby the detail camera c tracks the tracking target A in the target area with the second coordinates (P c1 , T c2 , Z c3 ), and acquires the close-up of the tracking target A Video data.
  • the positions of the panoramic camera and the detail camera are preset, and the position of the tracking target in the target area corresponds to its unique first coordinate in the panoramic camera, since the position of the detail camera is preset, The correspondence between the first coordinate of the tracking target and the second coordinate of the tracking target in the detail camera is determined.
  • the video processor may be integrated into the detail camera, integrated into the panoramic camera, or integrated in other electronic devices.
  • the video processor can obtain the close-up video data from each detail camera, and extract the attribute information of the tracking target from the close-up video data.
  • the attribute information of the tracking target can include, but is not limited to, a face feature, a human body feature, and a vehicle feature. Wait.
  • the video processor can obtain a continuous close-up video frame of the tracking target in the time series in the close-up video data, and obtain a score result of each close-up video frame according to the target evaluation model, and then the video processor can select the score.
  • the result is the highest close-up video frame, and at least one attribute information of the tracking target in the close-up video frame with the highest scoring result is extracted.
  • the target scoring model may be: a model obtained by training in advance for each type of target sample data, and the sample data includes: image quality, definition, target posture, and the like, but is not limited thereto.
  • sample data of 1000 video frames is acquired in advance, and sample data of each video frame is graded, and a score is set according to the classification result. The higher the level, the higher the score.
  • the image quality may include: excellent, good, medium, and poor.
  • the image quality of the video frame is assigned a value according to the image quality of the video frame.
  • the definition of the video frame, the target posture, and the like are assigned values.
  • the at least one attribute information may include: gender, age, top color, bottom color, clothing type, clothing style, whether a backpack, whether to carry a bag, whether to wear glasses, whether to wear a hat, whether to ride a bicycle, etc. Not limited to this.
  • At least one attribute information may include: license plate information, license plate color, vehicle type, vehicle color, vehicle brand, whether the main and the second driving are seat belts, whether there is a pendant, whether there is a decoration, whether there is an annual inspection mark and a sign. Number, etc., but not limited to this.
  • the video processor may acquire at least one video frame in the video data of the target area, and determine, by using the target detection algorithm, a tracking target having a preset feature in at least one video frame, and then, the video processor may The tracking target is assigned to different detail cameras, so that the detail camera can perform tracking shooting for the assigned tracking target, and send close-up video data of the captured tracking target to the video processor, and the video processor can acquire the close-up of the tracking target.
  • the target scoring model the continuous video frame in the video data selects the video frame with the highest scoring result, and further extracts the attribute information of the tracking target in the video frame with the highest scoring result, which can improve the accuracy of extracting the target attribute information. .
  • the target feature extraction method provided by the embodiment of the present application may include the following steps:
  • S202 Determine, by using a target detection algorithm, a tracking target having a preset feature in the target area video data.
  • S201 to S204 are the same as S101 to S104 in the above embodiment, and are not described herein again.
  • the video processor may separately identify each tracking target, and each tracking target has its identification information. For example, when there are 4 tracking targets, different identification information may be used to represent each tracking target, where the identification information may be defined as any symbol, for example, the identification information may include 1, 2, 3, 4, etc., and the identifier The information may also include a, b, c, d, etc.
  • the video processor can establish a target index for each tracking target according to the identification information and attribute information of each tracking target, as shown in Table 1, which is the target index of the three tracking targets.
  • the target index may be compared with all the target indexes that have been stored, or the target index is compared with the stored target index in the preset time period, and then Determine if the target index of the tracking target is the same as any index stored.
  • step S207 is executed to store the target index; if yes, step S208 is performed: discarding the target index.
  • the video processor may store the target index of the tracking target, so that the relevant personnel can view the stored information.
  • the video processor may discard the data corresponding to the target index of the tracking target, thereby avoiding repeated storage of the attribute information of the same tracking target.
  • the video processor may determine, by using the target detection algorithm, a tracking target having a preset feature in the video data of the target area, and selecting a target that meets the user requirement in the video of the target area, and then, the video processor may The selected target extracts the attribute information of each target, and improves the accuracy of extracting the target attribute information.
  • the video processor can discard duplicate index data for indexed targets, reducing storage pressure.
  • a preset target detection model corresponding to different types of targets may be trained to extract features of the corresponding types of targets by using a preset target detection model, for example,
  • the preset target detection model corresponding to the person can be trained, that is, the preset target detection model corresponding to the person can detect the person from the video frame of the video data; based on the sample data of the motor vehicle, the training can be obtained.
  • the preset target detection model corresponding to the motor vehicle that is, the preset target detection model corresponding to the motor vehicle, can detect the motor vehicle from the video frame of the video data, and the like.
  • the target scoring model may be: a model obtained by performing training based on video frames corresponding to different preset attributes in advance.
  • the video frames corresponding to different preset attributes are referred to as sample video frames
  • the preset attributes may include: image quality of the sample video frame, sharpness, and target pose of the target included in the sample video frame, but not Limited to this.
  • 1000 sample video frames are acquired in advance, and different preset attributes corresponding to each sample video frame are classified, and scores are set according to the classification result. The higher the level, the higher the score.
  • the image quality may include: excellent, good, medium, and poor.
  • the image quality of the sample video frame is assigned according to the image quality of the sample video frame. Similarly, the resolution of the sample video frame and the target pose of the included target. If the score is assigned, the above score is said to be the expected score.
  • the expected scores of the preset attributes corresponding to each sample video frame and each sample video frame are trained, and the initial scoring model is trained until the initial scoring model converges to obtain the target scoring model.
  • the convergence of the foregoing initial scoring model may be: the difference of the preset loss function corresponding to the initial scoring model is less than a preset threshold. The difference is the difference between the expected score of each preset attribute corresponding to each sample video frame and the predicted score of each preset attribute corresponding to each sample video frame obtained by the initial scoring model. value.
  • the above target evaluation model may be a preset convolutional neural network model.
  • acquiring a close-up video frame in the close-up video data and inputting the acquired close-up video frame into the target evaluation model, and the target evaluation model scores based on information such as image quality, definition, target posture, and the like of each close-up video frame, and then based on The score corresponding to the image quality, the definition, the target posture and the like of each of the above-mentioned close-up video frames is obtained, and the score of each close-up video frame is obtained, and then the close-up video frame with the highest scoring result is determined based on the score of each close-up video frame. Extracting at least one attribute information of the tracking target in the close-up video frame with the highest scoring result.
  • FIG. 3 is a schematic diagram of a target feature extraction apparatus 300 according to an embodiment of the present application.
  • the apparatus 300 includes:
  • the acquiring unit 310 is configured to acquire target area video data captured by the panoramic camera.
  • the determining unit 320 is configured to determine, by using the target detection algorithm, a tracking target having a preset feature in the target area video data.
  • the allocating unit 330 is configured to allocate the tracking target to the detail camera, so that the detail camera tracks the tracking target and acquire close-up video data of the tracking target.
  • the extracting unit 340 is configured to extract attribute information of the tracking target in the close-up video data.
  • the video processor may determine, by using a target detection algorithm, a tracking target having a preset feature in the video data of the target area, so that the video processor may select a target in the video of the target area that meets the requirements of the user, and further The video processor can extract the attribute information of each target according to the selected target, and improve the accuracy of extracting the target attribute information.
  • the determining unit 320 is specifically configured to:
  • the allocating unit 330 is configured to: after acquiring the video frame of the target area video data, acquire each tracking target in a video frame of the target area video.
  • the extracting unit 340 is specifically configured to:
  • Extracting at least one attribute information of the tracking target in the close-up video frame with the highest score result Extracting at least one attribute information of the tracking target in the close-up video frame with the highest score result.
  • the apparatus 300 further includes: on the basis of the acquiring unit 310, the determining unit 320, the allocating unit 330, and the extracting unit 340, the apparatus 300 further includes:
  • the indexing unit 350 is configured to establish a target index for the tracking target according to the identifier information of the tracking target and the at least one attribute information, where the identifier information is: determining a preset feature in the video data of the target area After tracking the target, each tracking target is identified.
  • the determining unit 360 is configured to determine whether the target index matches the stored index.
  • the processing unit 370 is configured to store the target index if the target index does not match the stored index, and discard the target index if the target index matches the stored index.
  • the embodiment of the present application provides a target feature extraction application system, which includes a panoramic camera 510, a video processor 520, and a detail camera 530.
  • the panoramic camera 510 is configured to capture target area video data.
  • the video processor 520 is configured to acquire target area video data captured by the panoramic camera; determine, by the target detection algorithm, a tracking target having a preset feature in the target area video data; and assign the tracking target to the detail camera, Taking the detail camera to track the tracking target and acquiring close-up video data of the tracking target; extracting attribute information of the tracking target in the close-up video data.
  • the detail camera 530 is configured to track the tracking target and acquire close-up video data of the tracking target.
  • the video processor may perform the process of target feature extraction by using the device embodiment shown in FIG. 3 or FIG. 4.
  • the video processor may determine a tracking target having a preset feature in the target area video data by using a target detection algorithm, and the video processor may select a target in the target area video that meets the user requirement, and then, the video The processor can extract the attribute information of each target according to the selected target, and improve the accuracy of extracting the target attribute information.
  • the video processor 520 is specifically configured to acquire a video frame of the target area video data, and extract an image feature of the video frame by using a preset target detection model; Setting the target detection model to be based on training a plurality of targets having preset features; matching the image features with preset target detection features, and determining image features matching the preset target detection features as tracking targets
  • the preset target detection feature is a set of targets having preset features.
  • the video processor 520 is specifically configured to acquire a video frame of each tracking target video in the target area after acquiring the video frame of the target area video data. a first coordinate in the first coordinate; assigning a detail camera to each tracking target; converting the first coordinate of each tracking target to a second of each tracking target in the assigned detail camera Coordinates, and transmitting the second coordinates and the tracking target to the assigned detail camera, so that the detail camera tracks the captured tracking target and acquires close-up video data of the tracking target.
  • the video processor 520 is specifically configured to acquire a close-up video frame in the close-up video data, and obtain a score result of the close-up video frame according to a target evaluation model, and select The close-up video frame with the highest scoring result; extracting at least one attribute information of the tracking target in the close-up video frame with the highest scoring result.
  • the video processor 520 is further configured to: establish, according to the identifier information of the tracking target and the at least one attribute information, a target index to the tracking target; The information is: after determining the tracking target having the preset feature in the target area video data, respectively identifying each tracking target; determining whether the target index matches the stored index; if the target index The target index is stored if the target index does not match the stored index, and the target index is discarded if the target index matches the stored index.
  • the video processor may be integrated in the panoramic camera, or the video processor may be integrated in the detail camera.
  • the target index may be stored in the panoramic camera with a storage function.
  • the target index can be stored in a medium having a storage function in the detail camera.
  • the video processor may exist as a separate processor, or the video processor may be integrated on other electronic devices than the panoramic camera and the detail camera, for example, the device may have processing video data, and The computer device that extracts the target feature function in the video data may store the target index in the computer device.
  • the electronic device where the video processor is located is not limited herein.
  • the embodiment of the present application further provides a computer device.
  • the computer device may include a processor 610, a communication interface 620, a memory 630, and a communication bus 640.
  • the processor 610, the communication interface 620, and the memory 630 completes communication with each other through the communication bus 640;
  • a memory 630 configured to store a computer program
  • the processor 610 is configured to perform the following steps when executing the program stored on the memory 630:
  • Extracting attribute information of the tracking target in the close-up video data Extracting attribute information of the tracking target in the close-up video data.
  • the communication bus mentioned in the above computer equipment may be a Peripheral Pomponent Interconnect (PCI) bus or an Extended Industry Standard Architecture (EISA) bus.
  • PCI Peripheral Pomponent Interconnect
  • EISA Extended Industry Standard Architecture
  • the communication bus can be divided into an address bus, a data bus, a control bus, and the like. For ease of representation, only one thick line is shown in the figure, but it does not mean that there is only one bus or one type of bus.
  • the communication interface is used for communication between the above computer device and other devices.
  • the memory may include a random access memory (RAM), and may also include a non-volatile memory, such as at least one disk storage.
  • the memory may also be at least one storage device located away from the aforementioned processor.
  • the above processor may be a general-purpose processor, including a central processing unit (CPU), a network processor (Network Processor, NP for short), or a digital signal processor (DSP). , Application Specific Integrated Circuit (ASIC), Field-Programmable Gate Array (FPGA) or other programmable logic device, discrete gate or transistor logic device, discrete hardware component.
  • CPU central processing unit
  • NP Network Processor
  • DSP digital signal processor
  • ASIC Application Specific Integrated Circuit
  • FPGA Field-Programmable Gate Array
  • the embodiment of the present application further provides a computer readable storage medium, where the computer readable storage medium stores a computer program, and when the computer program is executed by the processor, implements the target feature extraction method steps described in the present application.
  • the description is relatively simple, and the relevant parts can be referred to the description of the method embodiment.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

本申请实施例提供了一种目标特征提取方法、装置及应用***，所述方法包括：获取全景相机拍摄的目标区域视频数据；通过目标检测算法，确定所述目标区域视频数据中具有预设特征的跟踪目标；将所述跟踪目标分配给细节相机，以使所述细节相机跟踪所述跟踪目标并获取所述跟踪目标的特写视频数据；提取所述特写视频数据中所述跟踪目标的属性信息。应用本申请实施例，可以准确的提取各目标属性信息，提高了提取目标属性信息的准确性。

Description

一种目标特征提取方法、装置及应用***
本申请要求于2017年6月30日提交中国专利局、申请号为201710527437.4发明名称为“一种目标特征提取方法、装置及应用***”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及计算机视觉技术领域，特别是涉及一种目标特征提取方法、装置及应用***。
背景技术
目前，广角相机和长焦相机均可以用于拍摄一定区域的视频，其中，广角相机主要用于拍摄大范围、远距离目标的视频，长焦相机用于以一定的视场角拍摄近距离目标的视频。实际应用中，可以将广角相机和长焦相机相结合来拍摄目标区域内的视频，进而，通过视频结构化技术提取视频中的目标信息。
相关技术中，视频机构化过程中提取目标的方法，主要包括：采用广角相机拍摄监控区域内的视频数据，并利用背景建模来提取该视频数据中的目标及每个目标的时空位置。同时，控制长焦相机对每个目标进行跟踪拍摄，获得每个目标的视频数据，提取每个目标的视频数据中的特征图像。
但是，上述方法中，利用背景建模来提取广角相机的视频数据中的目标时，当出现突发情况，例如，相机发生抖动、光照发生变化、拍摄场景突变(如，地面出现抛洒物)等时，可能导致相机抓拍虚假目标，进而，影响提取目标的准确性，鲁棒性不强。另外，在提取视频数据中的目标时，需要将视频数据中的全部移动目标都进行提取，当视频数据中存在多个目标黏连时，长焦相机可能会将黏连一起的目标作为一个整体目标跟踪拍摄，这样，导致从长焦相机获取的视频数据中无法准确提取各目标特征及属性，从而影响提取的准确性。
发明内容
本申请实施例的目的在于提供一种目标特征提取方法、装置及应用***，以提高提取目标的属性信息的准确性。具体技术方案如下：
第一方面，本申请实施例提供了一种目标特征提取方法，包括：
获取全景相机拍摄的目标区域视频数据；
通过目标检测算法，确定所述目标区域视频数据中具有预设特征的跟踪目标；
将所述跟踪目标分配给细节相机，以使所述细节相机跟踪所述跟踪目标并获取所述跟踪目标的特写视频数据；
提取所述特写视频数据中所述跟踪目标的属性信息。
可选的，所述通过目标检测算法，确定所述目标区域视频数据中具有预设特征的跟踪目标的步骤包括：
获取所述目标区域视频数据的视频帧；通过预设目标检测模型提取所述视频帧的图像特征；所述预设目标检测模型为基于具有预设特征的多个目标训练得到的；
将所述图像特征与预设目标检测特征进行匹配，并将与所述预设目标检测特征匹配的图像特征确定为跟踪目标；所述预设目标检测特征为具有预设特征的目标的集合。
可选的，所述将所述跟踪目标分配给细节相机，以使所述细节相机跟踪所述跟踪目标并获取所述跟踪目标的特写视频数据的步骤包括：
在所述获取所述目标区域视频数据的视频帧之后，获取每个跟踪目标在所述目标区域视频的视频帧中的第一坐标；
根据所述第一坐标，为每个跟踪目标分配一个细节相机；
将所述每个跟踪目标的第一坐标转换为每个跟踪目标在所分配的细节相机中的第二坐标，并将所述第二坐标及所述跟踪目标发送给分配后的细节相机，以使所述细节相机跟踪拍摄分配的跟踪目标并获取所述跟踪目标的特写视频数据。
可选的，所述提取所述特写视频数据中所述跟踪目标的属性信息的步骤包括：
获取所述特写视频数据中的特写视频帧；
根据目标评价模型，获得所述特写视频帧的评分结果，并选取评分结果最高的特写视频帧；
提取所述评分结果最高的特写视频帧中所述跟踪目标的至少一个属性信息。
可选的，所述方法还包括：
根据所述跟踪目标的标识信息及所述至少一个属性信息，对所述跟踪目标建立目标索引；所述标识信息为：在确定所述目标区域视频数据中具有预设特征的跟踪目标之后，分别对每个跟踪目标进行标识得到的；
判断所述目标索引是否与已存储的索引匹配；
若否，存储所述目标索引，若是，丢弃所述目标索引。
第二方面，本申请实施例提供了一种目标特征提取装置，包括：
获取单元，用于获取全景相机拍摄的目标区域视频数据；
确定单元，用于通过目标检测算法，确定所述目标区域视频数据中具有预设特征的跟踪目标；
分配单元，用于将所述跟踪目标分配给细节相机，以使所述细节相机跟踪所述跟踪目标并获取所述跟踪目标的特写视频数据；
提取单元，用于提取所述特写视频数据中所述跟踪目标的属性信息。
可选的，所述确定单元具体用于：
获取所述目标区域视频数据的视频帧；通过预设目标检测模型提取所述视频帧的图像特征；所述预设目标检测模型为基于具有预设特征的多个目标训练得到的；将所述图像特征与预设目标检测特征进行匹配，并将与所述预设目标检测特征匹配的图像特征确定为跟踪目标；所述预设目标检测特征为具有预设特征的目标的集合。
可选的，所述分配单元具体用于：
在所述获取所述目标区域视频数据的视频帧之后，获取每个跟踪目标在所述目标区域视频的视频帧中的第一坐标；根据所述第一坐标，为每个跟踪目标分配一个细节相机；将所述每个跟踪目标的第一坐标转换为每个跟踪目标在所分配的细节相机中的第二坐标，并将所述第二坐标及所述跟踪目标发送给分配后的细节相机，以使所述细节相机跟踪拍摄分配的跟踪目标并获取所述跟踪目标的特写视频数据。
可选的，所述提取单元具体用于：
获取所述特写视频数据中的特写视频帧；根据目标评价模型，获得所述特写视频帧的评分结果，并选取评分结果最高的特写视频帧；提取所述评分结果最高的特写视频帧中所述跟踪目标的至少一个属性信息。
可选的，所述装置还包括：
索引单元，用于根据所述跟踪目标的标识信息及所述至少一个属性信息，对所述跟踪目标建立目标索引；所述标识信息为：在确定所述目标区域视频数据中具有预设特征的跟踪目标之后，分别对每个跟踪目标进行标识得到的；
判断单元，用于判断所述目标索引是否与已存储的索引匹配；
处理单元，用于若所述目标索引与已存储的索引不匹配，存储所述目标索引，若所述目标索引与已存储的索引匹配，丢弃所述目标索引。
第三方面，本申请实施例提供了一种目标特征提取应用***，包括：全景相机、视频处理器、细节相机；
其中，所述全景相机，用于拍摄目标区域视频数据；
所述视频处理器，用于获取全景相机拍摄的目标区域视频数据；通过目标检测算法，确定所述目标区域视频数据中具有预设特征的跟踪目标；将所述跟踪目标分配给细节相机，以使所述细节相机跟踪所述跟踪目标并获取所述跟踪目标的特写视频数据；提取所述特写视频数据中所述跟踪目标的属性信息；
所述细节相机，用于跟踪所述跟踪目标并获取所述跟踪目标的特写视频数据。
可选的，所述视频处理器具体用于：
获取所述目标区域视频数据的视频帧；通过预设目标检测模型提取所述视频帧的图像特征；所述预设目标检测模型为基于具有预设特征的多个目标训练得到的；将所述图像特征与预设目标检测特征进行匹配，并将与所述预设目标检测特征匹配的图像特征确定为跟踪目标；所述预设目标检测特征为具有预设特征的目标的集合。
可选的，所述视频处理器具体用于：
在所述获取所述目标区域视频数据的视频帧之后，获取每个跟踪目标在所述目标区域视频的视频帧中的第一坐标；根据所述第一坐标，为每个跟踪目标分配一个细节相机；将所述每个跟踪目标的第一坐标转换为每个跟踪目标在所分配的细节相机中的第二坐标，并将所述第二坐标及所述跟踪目标发送给分配后的细节相机，以使所述细节相机跟踪拍摄分配的跟踪目标并获取所述跟踪目标的特写视频数据。
可选的，所述视频处理器具体用于：
获取所述特写视频数据中的特写视频帧；根据目标评价模型，获得所述特写视频帧的评分结果，并选取评分结果最高的特写视频帧；提取所述评分结果最高的特写视频帧中所述跟踪目标的至少一个属性信息。
可选的，所述视频处理器具体还用于：
根据所述跟踪目标的标识信息及所述至少一个属性信息，对所述跟踪目标建立目标索引；所述标识信息为：在确定所述目标区域视频数据中具有预设特征的跟踪目标之后，分别对每个跟踪目标进行标识得到的；判断所述目标索引是否与已存储的索引匹配；若否，存储所述目标索引，若是，丢弃所述目标索引。
第四方面，本申请实施例又提供了一种计算机设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现本申请所述的目标特征提取方法步骤。
第五方面，本申请实施例又提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现本申请所述的目标特征提取方法步骤。
本申请实施例提供的一种目标特征提取方法、装置及应用***，其中，目标特征提取方法应用于目标特征提取应用***中的视频处理器，该视频处理器可以获取全景相机拍摄的目标区域视频数据，并且，该视频处理器可以通过目标检测算法，确定目标区域视频数据中具有预设特征的跟踪目标，同时，视频处理器可以将跟踪目标分配给细节相机，以使细节相机跟踪跟踪目标并获取跟踪目标的特写视频数据，进而，视频处理器可以提取特写视频数据中跟踪目标的属性信息。
本方案中，视频处理器可以通过目标检测算法，确定目标区域视频数据中具有预设特征的跟踪目标，这样，视频处理器可以将目标区域视频中的符合用户要求的目标选择出来，进而，视频处理器可以根据所选择的目标，提取各目标的属性信息，提高了提取目标的属性信息的准确性。当然，实施本申请的任一产品或方法必不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的目标特征提取方法的一种流程图；
图2为本申请实施例提供的目标特征提取方法的另一种流程图；
图3为本申请实施例提供的目标特征提取装置的一种结构示意图；
图4为本申请实施例提供的目标特征提取装置的另一种结构示意图；
图5为本申请实施例提供的目标特征提取应用***的一种结构示意图；
图6为本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
相关的视频结构化提取目标的方法中，主要是通过广角相机拍摄监控区域的视频数据，进而，获取视频数据中的目标及时空位置，针对每个目标，采用长焦相机进行跟踪拍摄，获得每个目标的特征图像。但是，当出现突发情况，例如，相机发生抖动、光照发生变化、拍摄场景突变(如，地面出现抛洒物)等时，可能导致相机抓拍虚假目标，进而，影响提取目标的准确性，鲁棒性不高。另外，在提取视频数据中的目标时，当视频数据中存在多个目标黏连时，提取获取视频数据中的目标时，可能会将黏连一起的目标作为一个整体目标跟踪拍摄，这样，可能无法准确的提取到各目标特征及属性。
为了提高提取目标属性信息的准确性，本申请实施例提供了一种目标特征提取方法的过程，如图1所示，该过程可以包括以下步骤：
S101，获取全景相机拍摄的目标区域视频数据。
本申请实施例提供的方法可以应用于一种视频处理器，该视频处理器可以集成于全景相机中，也可以集成于终端设备(例如，计算机)，或者该视频处理器可以为一种电子设备。
其中，全景相机可以为一个或者多个广角相机，根据目标区域的大小，可以确定广角相机的数量。例如，如果一个广角相机足以监控目标区域，则在目标区域安装一个广角相机，如果一个广角相机的监控范围不能完全监控到目标区域，则可以安装至少两个广角相机。全景相机也可以为由多个镜头进行拼接组成的相机，本申请在此不做限定。
本申请实施例中，全景相机可以对目标区域进行拍摄，进而，视频处理 器可以获取全景相机所拍摄的目标区域视频数据。
S102，通过目标检测算法，确定所述目标区域视频数据中具有预设特征的跟踪目标。
其中，目标检测算法可以包括：Boosting(通过构造一个预测函数系列，以一定的方式将预测函数系列组合成一个预测函数)、RCNN(区域卷积神经网络目标检测算法，Region with CNN)、FRCNN(快速区域卷积神经网络目标检测算法)、Faster RCNN(更快速区域卷积神经网络目标检测算法)等，但不限于此。
本申请实施例中，为了将目标区域视频数据中用户所需要的目标提取出来，可以采用上述目标检测算法中的任一种算法，对目标区域视频数据进行处理，以获得跟踪目标，其中，每个跟踪目标具有预设特征。例如，车的预设特征可以包括：车牌信息、车灯、车辆类型(卡车、轿车、越野车等)、车身颜色等，但不限于此。
本申请实施例中，视频处理器可以获取目标区域视频数据中在时间上具有连续性的至少一个视频帧，采用上述的目标检测算法对所获取的视频帧进行处理，即视频处理器可以通过预设目标检测模型提取至少一个视频帧中的图像特征，具体的，预设目标检测模型可以为基于具有预设特征的多个目标训练得到的，本申请实施例中，预设目标检测模型具体为：将大量的目标样本通过卷积神经网络的训练得到的模型。并且视频处理器可以将所获取的图像特征与预设目标检测特征进行匹配，将与预设目标检测特征相匹配的图像特征确定为跟踪目标。其中，预设目标检测特征为具有预设特征的目标的集合，例如，预设目标检测特征可以包括：人的特征和/或车辆的特征，但不限于此。例如，人的特征可以包括：头发、胳膊、手、性别、衣着款式、是否戴眼镜等，但不限于此，车辆的特征可以包括但不限于，车辆的尺寸、车辆型号、车辆颜色等。
例如，可以通过对大量样本数据(例如，对100个人的样本数据)输入至卷积神经网络，经过训练得到预设目标检测模型。本申请实施例可以针对人、机动车、非机动车等不同的目标采用相关技术，得到不同样本数据对应的预设目标检测模型。
S103，将所述跟踪目标分配给细节相机，以使所述细节相机跟踪所述跟踪目标并获取所述跟踪目标的特写视频数据。
本申请实施例中，视频处理器确定跟踪目标后，可以根据跟踪目标的数量，将跟踪目标分配给细节相机。例如，当跟踪目标的数量只有一个时，可以将跟踪目标分配给任一个细节相机，也可以将跟踪目标分配给距离跟踪目标最近的细节相机。当跟踪目标的数量较多时，可以将多个跟踪目标分配给一个或多个细节相机。这样，细节相机可以根据所分配的跟踪目标进行跟踪拍摄，获取跟踪目标的特写视频数据。
其中，细节相机可以包括一个或者多个可变焦的相机，每个细节相机可以携带一个云台，云台是可转动的，且云台的俯仰角可变的，视频处理器可以通过控制云台来控制各细节相机的拍摄角度、方向，但不限于此。
本申请实施例中，在获取目标区域视频数据的视频帧之后，视频处理器可以获取每个跟踪目标在目标区域视频的视频帧中的第一坐标，其中，第一坐标为跟踪目标在目标区域内的坐标位置。目标区域内的每个位置对应一个坐标，视频处理器可以根据跟踪目标在视频帧中的位置对应得到跟踪目标在目标区域内的坐标位置。
可选的，视频处理器可以根据第一坐标，为每个跟踪目标分配一个细节相机。在实际应用中，可以预先将各细节相机均匀的设置于目标区域，如果跟踪目标A的第一坐标(x 1、y 2、z 3)在目标区域中对应的位置距离细节相机a最近，可以将细节相机a分配给跟踪目标A。
另外，视频处理器可以将每个跟踪目标的第一坐标转换为每个跟踪目标在所分配的细节相机中的第二坐标，并将第二坐标及跟踪目标发送给分配后的细节相机，这样，细节相机可以对所分配的跟踪目标进行跟踪拍摄，进而，细节相机可以拍摄到跟踪目标的特写视频数据。每个跟踪目标的第一坐标在不同的细节相机对应不同的第二坐标。
在一种情况中，本申请实施例中上述的特写视频数据可以为所包含跟踪目标的尺寸占视频帧的尺寸的比例超过预设比例的视频数据；也可以为仅包含跟踪目标的视频数据；也可以为所包含跟踪目标在指定位置处的视频数据， 例如：所包含跟踪目标在视频帧的正中间区域位置。
例如，跟踪目标包括：跟踪目标A(第一坐标：x 11、y 12、z 13)、跟踪目标B(第一坐标：x 21、y 22、z 23)、跟踪目标C(第一坐标：x 31、y 32、z 33)，细节相机包括：细节相机a、细节相机b、细节相机c及细节相机d，由于各细节相机的位置不同，所以跟踪目标在细节相机的第二坐标不相同，视频处理器可以将跟踪目标A分配给细节相机b，则视频处理器可以将跟踪目标A的第一坐标：(x 11、y 12、z 13)转换为跟踪目标A在细节相机b的第二坐标(P b1、T b2、Z b3)，从而，细节相机b以第二坐标(P b1、T b2、Z b3)跟踪目标区域内的跟踪目标A，并且获取跟踪目标A的特写视频数据。又例如，视频处理器可以将跟踪目标A分配给细节相机c，则视频处理器可以将跟踪目标A的第一坐标：(x 11、y 12、z 13)转换为跟踪目标A在细节相机c的第二坐标(P c1、T c2、Z c3)，从而，细节相机c以第二坐标(P c1、T c2、Z c3)跟踪目标区域内的跟踪目标A，并且获取跟踪目标A的特写视频数据。
本申请实施例中，全景相机和细节相机的位置是预先设置好的，跟踪目标在目标区域的位置对应于其在全景相机中唯一第一坐标，由于细节相机的位置预先设置好了，所以，跟踪目标的第一坐标与跟踪目标在细节相机中的第二坐标的对应关系是确定好的。
S104，提取所述特写视频数据中所述跟踪目标的属性信息。
在本申请实施例的一种实现方式中，视频处理器可以集成于细节相机中，也可以集成在全景相机中，或者集成在其他电子设备中。视频处理器可以从各个细节相机获取特写视频数据中，并且从特写视频数据中提取跟踪目标的属性信息，具体的，跟踪目标的属性信息可以包括但不限于：人脸特征、人体特征、车辆特征等。
具体的，视频处理器可以获取特写视频数据中的一个跟踪目标在时间序列上的连续的特写视频帧，并且根据目标评价模型，获得各特写视频帧的评分结果，进而，视频处理器可以选取评分结果最高的特写视频帧，并且提取评分结果最高的特写视频帧中跟踪目标的至少一个属性信息。
其中，目标评分模型可以为：预先针对各类目标样本数据进行训练所获 得的模型，样本数据包括：图像质量、清晰度、目标姿势等，但不限于此。例如，预先获取1000个视频帧的样本数据，对每个视频帧的样本数据进行分级，根据分级结果设置分数，等级越高，分数越高。例如，图像质量可以包括：优、良、中、差，根据视频帧的图像质量给视频帧的图像质量赋分值，同理，对视频帧的清晰度、目标姿势等进行赋分值。获取每个视频帧的图像质量、清晰度、目标姿势等信息，然后根据目标评价模型，对每个视频帧的图像质量、清晰度、目标姿势等信息评分，得到评分结果最高的视频帧，提取评分结果最高的视频帧中的跟踪目标的至少一个属性信息。
其中，当跟踪目标为人时，至少一个属性信息可以包括：性别、年龄、上装颜色、下装颜色、衣着类型、衣着款式、是否背包、是否拎包、是否戴眼镜、是否戴帽子、是否骑车等，不限于此。
当跟踪目标为车辆时，至少一个属性信息可以包括：车牌信息、车牌颜色、车辆类型、车身颜色、车辆品牌、主副驾是否系安全带、是否有挂件、是否有摆件、是否有年检标志及标志个数等，但不限于此。
本申请实施例中，视频处理器可以获取目标区域视频数据中的至少一个视频帧，通过目标检测算法，确定出至少一个视频帧中具有预设特征的跟踪目标，进而，视频处理器可以将各跟踪目标分配给不同的细节相机，这样，细节相机可以针对所分配的跟踪目标进行跟踪拍摄，并将拍摄到的跟踪目标的特写视频数据发送给视频处理器，视频处理器可以获取跟踪目标的特写视频数据中连续的视频帧，根据目标评分模型，选择评分结果最高的视频帧，进而，提取评分结果最高的视频帧中跟踪目标的属性信息，可以，本方案提高了提取目标属性信息的准确性。
如图2所示，本申请实施例提供的目标特征提取方法可以包括以下步骤：
S201，获取全景相机拍摄的目标区域视频数据。
S202，通过目标检测算法，确定所述目标区域视频数据中具有预设特征的跟踪目标。
S203，将所述跟踪目标分配给细节相机，以使所述细节相机跟踪所述跟 踪目标并获取所述跟踪目标的特写视频数据。
S204，提取所述特写视频数据中所述跟踪目标的属性信息。
其中，S201～S204与上述实施例中的S101～S104相同，在此不再赘述。
S205，根据所述跟踪目标的标识信息及所述至少一个属性信息，对所述跟踪目标建立目标索引。
本申请实施例中，在确定目标区域视频数据中具有预设特征的跟踪目标之后，视频处理器可以分别为每个跟踪目标进行标识，每个跟踪目标具有其标识信息。例如，当存在4个跟踪目标时，可以采用不同的标识信息代表每个跟踪目标，其中，标识信息可以定义为任意符号，例如，标识信息可以包括1、2、3、4……等，标识信息也可以包括a、b、c、d……等。
视频处理器可以根据各跟踪目标的标识信息及属性信息，分别为各跟踪目标建立目标索引，如表1所示，为3个跟踪目标的目标索引。
跟踪目标 车辆颜色 车辆类型 有无年检标识
1 红色 跑车 有
2 黄色 面包车 有
3 黑色 轿车 无
S206，判断所述目标索引是否与已存储的索引匹配。
当视频处理器对跟踪目标建立了目标索引后，可以将该目标索引与已经存储的所有的目标索引进行比对，或者将目标索引与预设时间段内的存储的目标索引进行比对，进而判断跟踪目标的目标索引与已存储的任一索引是否相同。
若否，执行步骤S207，存储所述目标索引；若是，执行步骤S208：丢弃所述目标索引。
本申请实施例中，当已存储的索引中不存在任一索引与跟踪目标的目标索引相同时，视频处理器可以将该跟踪目标的目标索引存储，这样，便于有关人员查看，当已存储的索引中存在任一索引与跟踪目标的目标索引相同时， 视频处理器可以丢弃该跟踪目标的目标索引对应的数据，避免对同一跟踪目标的属性信息进行重复存储。
本申请实施例中，视频处理器可以通过目标检测算法，确定目标区域视频数据中具有预设特征的跟踪目标，将目标区域视频中的符合用户要求的目标选择出来，进而，视频处理器可以根据所选择的目标，提取各目标的属性信息，提高了提取目标属性信息的准确性。另外，视频处理器可以针对已建立索引的目标，丢弃重复索引数据，降低了存储压力。
其中，本发明实施例中，通过不同类型的目标的样本数据，可以训练得到不同类型的目标对应的预设目标检测模型，以利用预设目标检测模型提取所对应类型的目标的特征，例如，通过人的样本数据，可以训练得到人对应的预设目标检测模型，即该人对应的预设目标检测模型可以从视频数据的视频帧中检测得到人；基于机动车的样本数据，可以训练得到机动车对应的预设目标检测模型，即该机动车对应的预设目标检测模型可以从视频数据的视频帧中检测得到机动车，等等。
其中，本发明实施例中，上述目标评分模型可以为：预先基于对应不同预设属性的视频帧进行训练所获得的模型。在一种情况中，称对应不同预设属性的视频帧为样本视频帧，预设属性可以包括：样本视频帧的图像质量、清晰度以及样本视频帧中所包含目标的目标姿势等，但不限于此。例如，预先获取1000个样本视频帧，对每个样本视频帧对应的不同预设属性进行分级，根据分级结果设置分数，等级越高，分数越高。例如，图像质量可以包括：优、良、中、差，根据样本视频帧的图像质量给样本视频帧的图像质量赋分值，同理，对样本视频帧的清晰度、所包含目标的目标姿势等赋分值，称上述所赋分值为预期分值。
后续的，将上述每一样本视频帧以及每一样本视频帧对应的各预设属性的预期分值，训练初始的评分模型，直到上述初始的评分模型收敛后，得到上述目标评分模型。其中，上述上述初始的评分模型收敛可以为：初始的评分模型对应的预设损失函数的差值小于预设阈值。其中，上述差值为上述每一样本视频帧对应的各预设属性的预期分值与上述初始的评分模型所得到的每一样本视频帧对应的各预设属性的预测分值之间的差值。其中，上述目标 评价模型可以为预设的卷积神经网络模型。
进而，获取特写视频数据中的特写视频帧，将上述所获取的特写视频帧输入目标评价模型，目标评价模型基于每个特写视频帧的图像质量、清晰度、目标姿势等信息进行评分，进而基于上述每个特写视频帧的图像质量、清晰度、目标姿势等信息对应的评分，得到每个特写视频帧的得分，进而基于每个特写视频帧的得分，确定得到评分结果最高的特写视频帧，提取评分结果最高的特写视频帧中的跟踪目标的至少一个属性信息。
相应于上面的方法实施例，本申请实施例还提供了相应的装置实施例。图3为本申请实施例提供了一种目标特征提取装置300，该装置300包括：
获取单元310，用于获取全景相机拍摄的目标区域视频数据。
确定单元320，用于通过目标检测算法，确定所述目标区域视频数据中具有预设特征的跟踪目标。
分配单元330，用于将所述跟踪目标分配给细节相机，以使所述细节相机跟踪所述跟踪目标并获取所述跟踪目标的特写视频数据。
提取单元340，用于提取所述特写视频数据中所述跟踪目标的属性信息。
本申请实施例中，视频处理器可以通过目标检测算法，确定目标区域视频数据中具有预设特征的跟踪目标，这样，视频处理器可以将目标区域视频中的符合用户要求的目标选择出来，进而，视频处理器可以根据所选择的目标，提取各目标的属性信息，提高了提取目标属性信息的准确性。
作为本申请实施例中一种实施方式，所述确定单元320具体用于：
获取所述目标区域视频数据的视频帧；通过预设目标检测模型提取所述视频帧的图像特征；所述预设目标检测模型为基于具有预设特征的多个目标训练得到的；将所述图像特征与预设目标检测特征进行匹配，并将与所述预设目标检测特征匹配的图像特征确定为跟踪目标；所述预设目标检测特征为具有预设特征的目标的集合。
作为本申请实施例中一种实施方式，所述分配单元330具体用于：在所 述获取所述目标区域视频数据的视频帧之后，获取每个跟踪目标在所述目标区域视频的视频帧中的第一坐标；
根据所述第一坐标，为每个跟踪目标分配一个细节相机；将所述每个跟踪目标的第一坐标转换为每个跟踪目标在所分配的细节相机中的第二坐标，并将所述第二坐标及所述跟踪目标发送给分配后的细节相机，以使所述细节相机跟踪拍摄分配的跟踪目标并获取所述跟踪目标的特写视频数据。
作为本申请实施例中一种实施方式，所述提取单元340具体用于：
获取所述特写视频数据中的特写视频帧；根据目标评价模型，获得所述特写视频帧的评分结果，并选取评分结果最高的特写视频帧；
提取所述评分结果最高的特写视频帧中所述跟踪目标的至少一个属性信息。
作为本申请实施例中一种实施方式，如图4所示，在包括获取单元310、确定单元320、分配单元330及提取单元340的基础上，所述装置300还包括：
索引单元350，用于根据所述跟踪目标的标识信息及所述至少一个属性信息，对所述跟踪目标建立目标索引；所述标识信息为：在确定所述目标区域视频数据中具有预设特征的跟踪目标之后，分别对每个跟踪目标进行标识得到的。
判断单元360，用于判断所述目标索引是否与已存储的索引匹配。
处理单元370，用于若所述目标索引与已存储的索引不匹配，存储所述目标索引，若所述目标索引与已存储的索引匹配，丢弃所述目标索引。
另外，如图5所示，本申请实施例提供了一种目标特征提取应用***，该应用***包括：全景相机510、视频处理器520、细节相机530。
其中，所述全景相机510，用于拍摄目标区域视频数据。
所述视频处理器520，用于获取全景相机拍摄的目标区域视频数据；通过 目标检测算法，确定所述目标区域视频数据中具有预设特征的跟踪目标；将所述跟踪目标分配给细节相机，以使所述细节相机跟踪所述跟踪目标并获取所述跟踪目标的特写视频数据；提取所述特写视频数据中所述跟踪目标的属性信息。
所述细节相机530，用于跟踪所述跟踪目标并获取所述跟踪目标的特写视频数据。
具体的，视频处理器可以采用图3或者图4所示的装置实施例完成目标特征提取的过程。
本申请实施例中，视频处理器可以通过目标检测算法，确定目标区域视频数据中具有预设特征的跟踪目标，视频处理器可以将目标区域视频中的符合用户要求的目标选择出来，进而，视频处理器可以根据所选择的目标，提取各目标的属性信息，提高了提取目标属性信息的准确性。
作为本申请实施例中一种实施方式，所述视频处理器520，具体用于获取所述目标区域视频数据的视频帧；通过预设目标检测模型提取所述视频帧的图像特征；所述预设目标检测模型为基于具有预设特征的多个目标训练得到的；将所述图像特征与预设目标检测特征进行匹配，并将与所述预设目标检测特征匹配的图像特征确定为跟踪目标；所述预设目标检测特征为具有预设特征的目标的集合。
作为本申请实施例中一种实施方式，所述视频处理器520，具体用于在所述获取所述目标区域视频数据的视频帧之后，获取每个跟踪目标在所述目标区域视频的视频帧中的第一坐标；根据所述第一坐标，为每个跟踪目标分配一个细节相机；将所述每个跟踪目标的第一坐标转换为每个跟踪目标在所分配的细节相机中的第二坐标，并将所述第二坐标及所述跟踪目标发送给分配后的细节相机，以使所述细节相机跟踪拍摄分配的跟踪目标并获取所述跟踪目标的特写视频数据。
作为本申请实施例中一种实施方式，所述视频处理器520，具体用于获取所述特写视频数据中的特写视频帧；根据目标评价模型，获得所述特写视频 帧的评分结果，并选取评分结果最高的特写视频帧；提取所述评分结果最高的特写视频帧中所述跟踪目标的至少一个属性信息。
作为本申请实施例中一种实施方式，所述视频处理器520，具体还用于根据所述跟踪目标的标识信息及所述至少一个属性信息，对所述跟踪目标建立目标索引；所述标识信息为：在确定所述目标区域视频数据中具有预设特征的跟踪目标之后，分别对每个跟踪目标进行标识得到的；判断所述目标索引是否与已存储的索引匹配；若所述目标索引与已存储的索引不匹配，存储所述目标索引，若所述目标索引与已存储的索引匹配，丢弃所述目标索引。
本申请实施例中，视频处理器可以集成在全景相机中，或者视频处理器可以集成在细节相机中，当视频处理器集成在全景相机中时，目标索引可以存储于全景相机中具有存储功能的介质中，当视频处理器集成在细节相机中时，目标索引可以存储于细节相机中具有存储功能的介质中。需要注意的是，视频处理器可以作为一个独立的处理器存在，或者视频处理器可以集成于除全景相机和细节相机之外的其他电子设备上，例如，该设备可以为具有处理视频数据，并提取视频数据中目标特征功能的计算机设备，则可以将上述目标索引存储于该计算机设备中，对于视频处理器所在的电子设备，在此不做限定。
本申请实施例又提供了一种计算机设备，如图6所示，所述计算机设备可以包括处理器610、通信接口620、存储器630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信；
存储器630，用于存放计算机程序；
处理器610，用于执行存储器630上所存放的程序时，实现如下步骤：
获取全景相机拍摄的目标区域视频数据；
通过目标检测算法，确定所述目标区域视频数据中具有预设特征的跟踪目标；
将所述跟踪目标分配给细节相机，以使所述细节相机跟踪所述跟踪目标并获取所述跟踪目标的特写视频数据；
提取所述特写视频数据中所述跟踪目标的属性信息。
上述计算机设备提到的通信总线可以是外设部件互连标准(Peripheral Pomponent Interconnect，简称PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述计算机设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本申请实施例又提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，该计算机程序被处理器执行时实现本申请所述的目标特征提取方法步骤。
对于装置/***/电子设备/存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除 在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于***实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (17)

  1. 一种目标特征提取方法，其特征在于，包括：
    获取全景相机拍摄的目标区域视频数据；
    通过目标检测算法，确定所述目标区域视频数据中具有预设特征的跟踪目标；
    将所述跟踪目标分配给细节相机，以使所述细节相机跟踪所述跟踪目标并获取所述跟踪目标的特写视频数据；
    提取所述特写视频数据中所述跟踪目标的属性信息。
  2. 根据权利要求1所述的方法，其特征在于，所述通过目标检测算法，确定所述目标区域视频数据中具有预设特征的跟踪目标的步骤包括：
    获取所述目标区域视频数据的视频帧；
    通过预设目标检测模型提取所述视频帧的图像特征；所述预设目标检测模型为基于具有预设特征的多个目标训练得到的；
    将所述图像特征与预设目标检测特征进行匹配，并将与所述预设目标检测特征匹配的图像特征确定为跟踪目标；所述预设目标检测特征为具有预设特征的目标的集合。
  3. 根据权利要求2所述的方法，其特征在于，所述将所述跟踪目标分配给细节相机，以使所述细节相机跟踪所述跟踪目标并获取所述跟踪目标的特写视频数据的步骤包括：
    在所述获取所述目标区域视频数据的视频帧之后，获取每个跟踪目标在所述目标区域视频的视频帧中的第一坐标；
    根据所述第一坐标，为每个跟踪目标分配一个细节相机；
    将所述每个跟踪目标的第一坐标转换为每个跟踪目标在所分配的细节相机中的第二坐标，并将所述第二坐标及所述跟踪目标发送给分配后的细节相机，以使所述细节相机跟踪拍摄分配的跟踪目标并获取所述跟踪目标的特写视频数据。
  4. 根据权利要求1所述的方法，其特征在于，所述提取所述特写视频数据中所述跟踪目标的属性信息的步骤包括：
    获取所述特写视频数据中的特写视频帧；
    根据目标评价模型，获得所述特写视频帧的评分结果，并选取评分结果最高的特写视频帧；
    提取所述评分结果最高的特写视频帧中所述跟踪目标的至少一个属性信息。
  5. 根据权利要求4所述的方法，其特征在于，所述方法还包括：
    根据所述跟踪目标的标识信息及所述至少一个属性信息，对所述跟踪目标建立目标索引；所述标识信息为：在确定所述目标区域视频数据中具有预设特征的跟踪目标之后，分别对每个跟踪目标进行标识得到的；
    判断所述目标索引是否与已存储的索引匹配；
    若否，存储所述目标索引，若是，丢弃所述目标索引。
  6. 一种目标特征提取装置，其特征在于，包括：
    获取单元，用于获取全景相机拍摄的目标区域视频数据；
    确定单元，用于通过目标检测算法，确定所述目标区域视频数据中具有预设特征的跟踪目标；
    分配单元，用于将所述跟踪目标分配给细节相机，以使所述细节相机跟踪所述跟踪目标并获取所述跟踪目标的特写视频数据；
    提取单元，用于提取所述特写视频数据中所述跟踪目标的属性信息。
  7. 根据权利要求6所述的装置，其特征在于，所述确定单元具体用于：
    获取所述目标区域视频数据的视频帧；通过预设目标检测模型提取所述视频帧的图像特征；所述预设目标检测模型为基于具有预设特征的多个目标训练得到的；将所述图像特征与预设目标检测特征进行匹配，并将与所述预设目标检测特征匹配的图像特征确定为跟踪目标；所述预设目标检测特征为具有预设特征的目标的集合。
  8. 根据权利要求7所述的装置，其特征在于，所述分配单元具体用于：
    在所述获取所述目标区域视频数据的视频帧之后，获取每个跟踪目标在所述目标区域视频的视频帧中的第一坐标；根据所述第一坐标，为每个跟踪目标分配一个细节相机；将所述每个跟踪目标的第一坐标转换为每个跟踪目标在所分配的细节相机中的第二坐标，并将所述第二坐标及所述跟踪目标发送给分配后的细节相机，以使所述细节相机跟踪拍摄分配的跟踪目标并获取所述跟踪目标的特写视频数据。
  9. 根据权利要求6所述的装置，其特征在于，所述提取单元具体用于：
    获取所述特写视频数据中的特写视频帧；根据目标评价模型，获得所述特写视频帧的评分结果，并选取评分结果最高的特写视频帧；提取所述评分结果最高的特写视频帧中所述跟踪目标的至少一个属性信息。
  10. 根据权利要求9所述的装置，其特征在于，所述装置还包括：
    索引单元，用于根据所述跟踪目标的标识信息及所述至少一个属性信息，对所述跟踪目标建立目标索引；所述标识信息为：在确定所述目标区域视频数据中具有预设特征的跟踪目标之后，分别对每个跟踪目标进行标识得到的；
    判断单元，用于判断所述目标索引是否与已存储的索引匹配；
    处理单元，用于若所述目标索引与已存储的索引不匹配，存储所述目标索引，若所述目标索引与已存储的索引匹配，丢弃所述目标索引。
  11. 一种目标特征提取应用***，其特征在于，包括：全景相机、视频处理器、细节相机；
    其中，所述全景相机，用于拍摄目标区域视频数据；
    所述视频处理器，用于获取全景相机拍摄的目标区域视频数据；通过目标检测算法，确定所述目标区域视频数据中具有预设特征的跟踪目标；将所述跟踪目标分配给细节相机，以使所述细节相机跟踪所述跟踪目标并获取所述跟踪目标的特写视频数据；提取所述特写视频数据中所述跟踪目标的属性信息；
    所述细节相机，用于跟踪所述跟踪目标并获取所述跟踪目标的特写视频 数据。
  12. 根据权利要求11所述的应用***，其特征在于，所述视频处理器具体用于：
    获取所述目标区域视频数据的视频帧；通过预设目标检测模型提取所述视频帧的图像特征；所述预设目标检测模型为基于具有预设特征的多个目标训练得到的；将所述图像特征与预设目标检测特征进行匹配，并将与所述预设目标检测特征匹配的图像特征确定为跟踪目标；所述预设目标检测特征为具有预设特征的目标的集合。
  13. 根据权利要求12所述的应用***，其特征在于，所述视频处理器具体用于：
    在所述获取所述目标区域视频数据的视频帧之后，获取每个跟踪目标在所述目标区域视频的视频帧中的第一坐标；根据所述第一坐标，为每个跟踪目标分配一个细节相机；将所述每个跟踪目标的第一坐标转换为每个跟踪目标在所分配的细节相机中的第二坐标，并将所述第二坐标及所述跟踪目标发送给分配后的细节相机，以使所述细节相机跟踪拍摄分配的跟踪目标并获取所述跟踪目标的特写视频数据。
  14. 根据权利要求11所述的应用***，其特征在于，所述视频处理器具体用于：
    获取所述特写视频数据中的特写视频帧；根据目标评价模型，获得所述特写视频帧的评分结果，并选取评分结果最高的特写视频帧；提取所述评分结果最高的特写视频帧中所述跟踪目标的至少一个属性信息。
  15. 根据权利要求14所述的应用***，其特征在于，所述视频处理器具体还用于：
    根据所述跟踪目标的标识信息及所述至少一个属性信息，对所述跟踪目标建立目标索引；所述标识信息为：在确定所述目标区域视频数据中具有预设特征的跟踪目标之后，分别对每个跟踪目标进行标识得到的；判断所述目标索引是否与已存储的索引匹配；若否，存储所述目标索引，若是，丢弃所述目标索引。
  16. 一种计算机设备，其特征在于，所述计算机设备可以包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
    存储器，用于存放计算机程序；
    处理器，用于执行存储器上所存放的程序时，实现权利要求1-5任一所述的目标特征提取方法步骤。
  17. 一种机器可读存储介质，其特征在于，存储有机器可执行指令，在被图像处理器调用和执行时，所述机器可执行指令促使所述图像处理器：实现权利要求1-5任一所述的目标特征提取方法步骤。
PCT/CN2018/093291 2017-06-30 2018-06-28 一种目标特征提取方法、装置及应用*** WO2019001505A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/627,017 US11398084B2 (en) 2017-06-30 2018-06-28 Method, apparatus and application system for extracting a target feature
EP18823010.6A EP3648448B1 (en) 2017-06-30 2018-06-28 Target feature extraction method and device, and application system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201710527437.4 2017-06-30
CN201710527437.4A CN109215055A (zh) 2017-06-30 2017-06-30 一种目标特征提取方法、装置及应用***

Publications (1)

Publication Number Publication Date
WO2019001505A1 true WO2019001505A1 (zh) 2019-01-03

Family

ID=64741133

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/093291 WO2019001505A1 (zh) 2017-06-30 2018-06-28 一种目标特征提取方法、装置及应用***

Country Status (4)

Country Link
US (1) US11398084B2 (zh)
EP (1) EP3648448B1 (zh)
CN (1) CN109215055A (zh)
WO (1) WO2019001505A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110969097A (zh) * 2019-11-18 2020-04-07 浙江大华技术股份有限公司 监控目标联动跟踪控制方法、设备及存储装置
CN111091117A (zh) * 2019-12-31 2020-05-01 北京城市网邻信息技术有限公司 用于二维全景图像的目标检测方法、装置、设备、介质

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109086709B (zh) * 2018-07-27 2023-04-07 腾讯科技（深圳）有限公司 特征提取模型训练方法、装置及存储介质
CN109801211B (zh) 2018-12-19 2022-08-12 中德（珠海）人工智能研究院有限公司 一种基于全景相机的目标物消除方法
CN112288865B (zh) * 2019-07-23 2024-07-16 比亚迪股份有限公司 地图的构建方法、装置、设备及存储介质
CN113077391B (zh) * 2020-07-22 2024-01-26 同方威视技术股份有限公司 校正扫描图像的方法和装置以及图像扫描***
US20220114477A1 (en) * 2020-10-14 2022-04-14 Baidu Usa Llc Event driven configurable artificial intelligence workflow
CN112308018A (zh) * 2020-11-19 2021-02-02 安徽鸿程光电有限公司 一种图像识别方法、***、电子设备及存储介质
CN112489090B (zh) * 2020-12-16 2024-06-04 影石创新科技股份有限公司 目标跟踪的方法、计算机可读存储介质及计算机设备
CN112818172B (zh) * 2021-01-18 2023-04-18 浙江大华技术股份有限公司 视频检索方法、电子装置和存储介质
CN112802058A (zh) * 2021-01-21 2021-05-14 北京首都机场航空安保有限公司 一种非法运动目标的跟踪方法及装置
CN112884809A (zh) * 2021-02-26 2021-06-01 北京市商汤科技开发有限公司 目标跟踪方法及装置、电子设备和存储介质
CN114500873A (zh) * 2021-12-31 2022-05-13 浙江大华技术股份有限公司 跟踪拍摄***
CN114332744B (zh) * 2022-03-10 2022-06-07 成都诺比侃科技有限公司 一种基于机器视觉的变电站自适应安防方法及***
DE102022203062A1 (de) * 2022-03-29 2023-10-05 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Bestimmung von Kameraergänzungsvorschlägen für eine Überwachungsvorrichtung, Computerprogramm, Speichermedium und Überwachungsvorrichtung
CN114650453B (zh) * 2022-04-02 2023-08-15 北京中庆现代技术股份有限公司 应用于课堂录播中的目标追踪方法、装置、设备以及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106034207A (zh) * 2015-03-19 2016-10-19 联想(北京)有限公司 图像获得方法以及电子设备
CN106127807A (zh) * 2016-06-21 2016-11-16 中国石油大学(华东) 一种实时的视频多类多目标跟踪方法
CN205883405U (zh) * 2016-07-29 2017-01-11 深圳众思科技有限公司 一种自动追焦装置及终端
CN106341612A (zh) * 2016-11-29 2017-01-18 广东欧珀移动通信有限公司 控制方法、控制装置及电子装置
CN106506941A (zh) * 2016-10-20 2017-03-15 深圳市道通智能航空技术有限公司 图像处理的方法及装置、飞行器

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8285006B2 (en) * 2007-04-13 2012-10-09 Mira Electronics Co., Ltd. Human face recognition and user interface system for digital camera and video camera
CN100531373C (zh) * 2007-06-05 2009-08-19 西安理工大学 基于双摄像头联动结构的视频运动目标特写跟踪监视方法
CN102148965B (zh) * 2011-05-09 2014-01-15 厦门博聪信息技术有限公司 多目标跟踪特写拍摄视频监控***
CN102902884A (zh) * 2012-09-24 2013-01-30 天津市亚安科技股份有限公司 云台摄像机自动定位角度计算方法
CN103105858A (zh) * 2012-12-29 2013-05-15 上海安维尔信息科技有限公司 在固定相机和云台相机间进行目标放大、主从跟踪的方法
US20180107660A1 (en) * 2014-06-27 2018-04-19 Amazon Technologies, Inc. System, method and apparatus for organizing photographs stored on a mobile computing device
CN104125433A (zh) * 2014-07-30 2014-10-29 西安冉科信息技术有限公司 基于多球机联动结构的视频运动目标监控方法
CN104301669A (zh) * 2014-09-12 2015-01-21 重庆大学 基于双摄像头协同的可疑目标检测跟踪与识别方法
US9838595B2 (en) * 2014-11-10 2017-12-05 Sz Reach Tech Co., Ltd. Video generating method and apparatus of video generating system
EP3221845A1 (en) * 2014-11-21 2017-09-27 Metaio GmbH Method and system for determining spatial coordinates of a 3d reconstruction of at least part of a real object at absolute spatial scale
CN104378539B (zh) * 2014-11-28 2017-08-08 华中科技大学 场景自适应的视频结构化语义提取摄像机及其方法
CN104883548B (zh) * 2015-06-16 2018-08-14 金鹏电子信息机器有限公司 监控视频人脸抓取处理方法及其***
US9589210B1 (en) * 2015-08-26 2017-03-07 Digitalglobe, Inc. Broad area geospatial object detection using autogenerated deep learning models
CN105472239B (zh) * 2015-11-17 2019-08-16 小米科技有限责任公司 照片处理方法及装置
CN105407283B (zh) * 2015-11-20 2018-12-18 成都因纳伟盛科技股份有限公司 一种多目标主动识别跟踪监控方法
CN105338248B (zh) * 2015-11-20 2018-08-28 成都因纳伟盛科技股份有限公司 智能多目标主动跟踪监控方法及***
CN105893510A (zh) * 2016-03-30 2016-08-24 北京格灵深瞳信息技术有限公司 一种视频结构化***及其目标搜索方法
CN105812746B (zh) * 2016-04-21 2019-05-10 北京格灵深瞳信息技术有限公司 一种目标检测方法及***
CN105930822A (zh) * 2016-05-11 2016-09-07 北京格灵深瞳信息技术有限公司 一种人脸抓拍方法及***
CN105872477B (zh) * 2016-05-27 2018-11-23 北京旷视科技有限公司 视频监控方法和视频监控***
CN106354816B (zh) * 2016-08-30 2019-12-13 东软集团股份有限公司 一种视频图像处理方法及装置
CN106503614B (zh) * 2016-09-14 2020-01-17 厦门黑镜科技有限公司 一种照片获取方法及装置
CN106503622A (zh) * 2016-09-26 2017-03-15 北京格灵深瞳信息技术有限公司 一种车辆反跟踪方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106034207A (zh) * 2015-03-19 2016-10-19 联想(北京)有限公司 图像获得方法以及电子设备
CN106127807A (zh) * 2016-06-21 2016-11-16 中国石油大学(华东) 一种实时的视频多类多目标跟踪方法
CN205883405U (zh) * 2016-07-29 2017-01-11 深圳众思科技有限公司 一种自动追焦装置及终端
CN106506941A (zh) * 2016-10-20 2017-03-15 深圳市道通智能航空技术有限公司 图像处理的方法及装置、飞行器
CN106341612A (zh) * 2016-11-29 2017-01-18 广东欧珀移动通信有限公司 控制方法、控制装置及电子装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3648448A4

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110969097A (zh) * 2019-11-18 2020-04-07 浙江大华技术股份有限公司 监控目标联动跟踪控制方法、设备及存储装置
CN110969097B (zh) * 2019-11-18 2023-05-12 浙江大华技术股份有限公司 监控目标联动跟踪控制方法、设备及存储装置
CN111091117A (zh) * 2019-12-31 2020-05-01 北京城市网邻信息技术有限公司 用于二维全景图像的目标检测方法、装置、设备、介质

Also Published As

Publication number Publication date
US20200117946A1 (en) 2020-04-16
EP3648448B1 (en) 2024-06-19
CN109215055A (zh) 2019-01-15
US11398084B2 (en) 2022-07-26
EP3648448A1 (en) 2020-05-06
EP3648448A4 (en) 2020-08-19

Similar Documents

Publication Publication Date Title
WO2019001505A1 (zh) 一种目标特征提取方法、装置及应用***
CN108985186B (zh) 一种基于改进YOLOv2的无人驾驶中行人检测方法
CN108549874B (zh) 一种目标检测方法、设备及计算机可读存储介质
WO2020042419A1 (zh) 基于步态的身份识别方法、装置、电子设备
CN109934848B (zh) 一种基于深度学习的运动物体精准定位的方法
JP4616702B2 (ja) 画像処理
AU2011301774B2 (en) A method for enhancing depth maps
WO2020252974A1 (zh) 一种针对运动状态下的多目标对象追踪方法和装置
US10762649B2 (en) Methods and systems for providing selective disparity refinement
CN104134200B (zh) 一种基于改进加权融合的运动场景图像拼接方法
CN105930822A (zh) 一种人脸抓拍方法及***
TWI679612B (zh) 影像追蹤方法
JP2016521892A5 (zh)
WO2019174276A1 (zh) 用于定位目标物体区域中心的图像处理方法、装置、设备和介质
US8948533B2 (en) Increased quality of image objects based on depth in scene
CN106446862A (zh) 一种人脸检测方法及***
CN111241932A (zh) 汽车展厅客流检测与分析***、方法及存储介质
CN112149476B (zh) 目标检测方法、装置、设备和存储介质
CN112287867A (zh) 一种多摄像头的人体动作识别方法及装置
CN111666800A (zh) 一种行人重识别模型训练方法及行人重识别方法
US9947106B2 (en) Method and electronic device for object tracking in a light-field capture
CN116051736A (zh) 一种三维重建方法、装置、边缘设备和存储介质
WO2021047453A1 (zh) 图像质量确定方法、装置及设备
Hadi et al. Fusion of thermal and depth images for occlusion handling for human detection from mobile robot
WO2022266878A1 (zh) 景别确定方法、装置及计算机可读存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18823010

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2018823010

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2018823010

Country of ref document: EP

Effective date: 20200130