WO2020017190A1 - 映像解析装置、人物検索システムおよび人物検索方法 - Google Patents
映像解析装置、人物検索システムおよび人物検索方法 Download PDFInfo
- Publication number
- WO2020017190A1 WO2020017190A1 PCT/JP2019/023083 JP2019023083W WO2020017190A1 WO 2020017190 A1 WO2020017190 A1 WO 2020017190A1 JP 2019023083 W JP2019023083 W JP 2019023083W WO 2020017190 A1 WO2020017190 A1 WO 2020017190A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- person
- parts
- best shot
- analysis device
- score
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Definitions
- the present invention relates to a technology for searching or tracking a specific person from a video.
- Patent Literature 1 the amount of change in face size of a face image continuously detected from a video is detected, and when the amount of change is continuous, the face is determined to be the same person, and a face image suitable for storage is stored as a best shot.
- a method is disclosed in which the information is stored in a medium and a person search is performed using the stored information as a search key.
- an object of the present invention is to provide a technology that can retrieve the same person by acquiring a large amount of information that well represents the characteristics of the person.
- Another object of the present invention is to provide a technology capable of accurately associating a specific person from images of a plurality of cameras and searching for a person designated as a person requiring caution.
- the video analysis device of the present invention is, for example, connected to a photographing device having a plurality of cameras, and for a plurality of persons photographed by the cameras, a plurality of Tracking at least one of the persons, detecting a plurality of parts of the tracked person, and, for the detected parts, based on information defining a score for determining a best shot for each part,
- the score for each part is calculated for each frame of the video by the surveillance camera, and the score for each part calculated for the frame is compared for each part to determine the best shot for each part.
- the feature amounts of the parts of a plurality of persons are compared to determine the identity of the persons.
- a person search system includes, for example, an image analysis device connected to an imaging device having a plurality of cameras, a work including a display unit and an input unit.
- a person search system having a terminal, the video analysis device, for a plurality of people photographed by a camera, track at least one of the plurality of people, a plurality of the tracked person Based on the information that defines the score for determining the best shot for each of a plurality of detected parts, the score for each part is calculated for each frame of the video by the surveillance camera.
- the score of each part calculated in the above is compared for each part, the best shot for each part is determined, and for each part, the feature amount of the part is stored in association with each other. By comparing the feature quantity for each part of the person, it determines the identity of the person.
- the present invention it is possible to select the best shot representing the characteristics of a plurality of parts of a person from a plurality of frame images and grasp the feature amount of the best shot, so that the same person can be searched or tracked with high accuracy. it can.
- FIG. 14 is a diagram illustrating an example of a best shot merge table.
- FIG. 4 is a diagram illustrating an example of a part DB. It is a figure showing an example of acquisition of the best shot.
- FIG. 14 is a diagram illustrating an example of a frame image DB 216.
- FIG. 3 is a diagram illustrating a method of specifying a person position on a two-dimensional plane from a video of a camera.
- FIG. 4 is a diagram illustrating an example of a part template.
- FIG. 3 is a diagram showing an example of a configuration diagram of a work terminal PC4. It is a flowchart which shows the example of acquisition of a best shot part. It shows an example of a search process for a video of a specified person. It is the flowchart which showed an example of the process which displays the latest information of the person of an alert target.
- FIG. 1 is a configuration diagram illustrating an example of a person search system.
- a person search system includes an input device 1 including a photographing device and a baggage search device, a network 2 such as the Internet or an intranet connecting each input device 1 and each PC (personal computer), and inputting or storing.
- a video analysis PC for analyzing the content of the obtained video
- a work terminal PC4 used for instructing a person search, displaying a person search result, alerting, and the like.
- the input device 1 includes a plurality of photographing devices (cameras) 11 such as a monitoring camera installed for monitoring the whole of each base, and an X-ray baggage for inspecting a bag or belongings for dangerous substances.
- Inspection device referred to as X-ray inspection device
- baggage appearance photographing camera referred to as baggage appearance camera 13 for photographing the baggage appearance at a position where the baggage is transported, such as inside or near the X-ray inspection device 12
- these input devices 1 it is not necessary to install all types of devices at all locations, and it is sufficient to install necessary types of devices.
- the luggage appearance camera 13 is installed inside or around the X-ray inspection apparatus 12, and automatically or manually when the X-ray image taken by the X-ray inspection apparatus 12 includes dangerous goods or luggage requiring confirmation.
- the luggage is designated by the user, the appearance of the luggage is photographed. Further, it can be installed in a place where there is no X-ray inspection device, such as a turntable for receiving luggage at an airport. Note that as long as the appearance of the luggage can be photographed, photographing may be performed by other means.
- FIG. 2 is a diagram illustrating an example of the configuration of the video analysis PC.
- the video analysis PC 3 that analyzes the video captured by the camera 11 and acquires and stores the best shot of each person for each camera 11 includes a CPU 201, a main memory 202, an input unit 203, a display unit 204, a communication unit 205, and a storage unit. It is configured by a computer including the unit 210.
- the storage unit 210 includes an OS 211, a best shot definition table 212, a best shot camera table 213, a best shot merge table 214, a parts DB 215, a frame image DB 216, a video acquisition program 217, a person tracking program 218, , A person position identification program 219, a part area detection program 220, a best shot determination program 221, a camera table update program 222, a merge table update program 223, and a person search program 224.
- the various programs (217 to 224) stored in the storage unit 210 are read into the main memory 202 and executed by the CPU 201 to realize various functions.
- FIG. 3 shows an example of the best shot definition table 212.
- the best shot definition table 212 information defining a score for determining the best shot of each part of the person, such as the head, face, profile, clothes, and bag, is registered.
- a score is defined for each item (31 to 35) such as an area S31, a front degree D32, and the number N of geometric feature points used for each type of part.
- the score of these items to be used is determined by using the face area 31, the front degree 32 of the part which is the front degree of the face, and the detection reliability 35 indicating the face likeness when the face is detected.
- the score of the face is calculated by adding the value of (item score).
- Such a face score is compared with the face score of the same person in another image at a different time, and becomes information for selecting a higher score as the best shot.
- geometric features 33 representing individual features such as patterns and luminance values 34 representing clarity are also used in determining the best shot for each part. These items may be included because they are the major influence factors.
- the score is calculated for each of the three items of the area 31 of the region specified as the head region, the part front degree 32 which is the angle of the head, and the detection reliability 35, By adding these scores, the score of the head is calculated.
- the area is the area of the detected head region, that is, the number of pixels, and the angle of the head is the angle of the head viewed from the camera obtained from the direction of travel of the person or the result of face detection.
- a score is defined by the area 31 of the region specified as the profile, the degree of part front 32, which is the face direction, and the detection reliability 35, and the score of the profile is calculated.
- the determination as to whether the face is a profile may be obtained from the traveling direction of the person, or the direction may be estimated by a general method such as deep learning using the appearance characteristics of the whole body.
- the best shot of the clothing shows, for example, the area of the clothing 31, the frontal degree 32, the frontal degree of the parts 32, and the design features of the clothes, for example, the front direction of the upper body, the rear direction of the upper body, the front direction of the lower body, the rear direction of the lower body
- a score is defined by the geometric feature point 33, the luminance value 34, and the detection reliability 35, and the score of the clothes is calculated.
- the front angle is obtained from the traveling direction of the person.
- the number of geometric feature points can be specified by extracting the feature points using a known SIFT feature amount or the like and by the number.
- an edge component may be extracted by Hough transform or the like, and a score may be defined by a sum of edge lengths or the like.
- the score is calculated using the area and detection reliability. Note that a person who does not wear a watch is excluded from the calculation because there are no parts.
- the part front degree 32, the number of geometric feature points 33, the luminance value 34, the detection reliability 35, etc. select the items representing the characteristics of each part of the person and add these scores. By doing so, the score of each part can be calculated. It should be noted that not only the scores of the items are simply added, but also the average value obtained by dividing the sum of the scores of the items by the number of items. Further, the score of each part may be calculated by giving a weight to the score of each item according to the part.
- the items in the best shot definition table are not limited to those shown in FIG. 3, but can be added according to the characteristics of each part.
- the best shot definition table registers an image of a part shot under the conditions that the user wants to be the best shot as an image for each type of each part, and uses a known similar image search technique to set an image similar to the best shot. And the best shot can be registered.
- FIG. 4 shows an example of the best shot camera table 213.
- a person trajectory ID 41 for identifying a person identified as the same person in the same camera, a merge table ID 42 used for referencing a person trajectory registered in the best shot merge table 214 shown in FIG. 5, a head 43, and a face 44, profile 45, clothes (upper front) 46, bag 47, shoes 48, hat 49, etc., and information 410 of the date and time when the best shot was last updated are registered.
- the value of the part ID shown in FIG. 6 is stored.
- the part ID is information managed in correspondence with the feature amount and the score of the part, which will be described later with reference to FIG.
- the parts shown in FIG. 4 are an example.
- the clothing (upper front) 46 indicating the front of the clothing
- the clothing (upper rear) indicating the back of the clothing and the lower body Clothing on the front side of the clothes (lower front), clothes on the rear side of the lower body clothes (lower back), and the like may be added.
- the camera ID and the camera identification ID may be managed as different values in a table.
- the best shot camera table 213 is created for each person trajectory of each camera.
- the best shot camera table 213 may be prepared for each camera, or the best shot camera table 213 may be collected as one table.
- FIG. 5 is a diagram showing an example of the best shot merge table 214.
- a person ID (which can correspond to the merge table ID 42 in FIG. 4) 51 for identifying a person identified as the same person in a plurality of cameras.
- the information of the head 52, the face 53, the profile 54, the clothes 55, the bag 56, the shoes 57, the hat 58, the clock 59, and the date and time 510 when the last best shot was updated is registered.
- the value of the part ID of the best shot is registered corresponding to the head 52, face 53, profile 54, clothes 55, bag 56, shoes 57, hat 58, and clock 59 as in FIG. .
- the difference between the best shot camera table 213 and the best shot merge table 214 is that the best shot camera table 213 is the best shot for the trajectory of a person in the camera, whereas the best shot merge table 214 is The point is that the best shots of the same person are merged in the trajectory. That is, when the best shot camera table is updated, the best shot merge table is also updated.
- the head 52, face 53, and profile 54 of "200002" of the person ID 51 in FIG. 5 have the same part ID as the person locus "10002" in FIG. Means that the best shot exists at the time of the person trajectory "10002", and the other parts such as the bag 56 have the best shot on the person trajectory photographed by another camera.
- FIG. 6 shows an example of the parts DB 215.
- the part type 62, the feature amount 63 such as the vector data of the part, the part coordinates 64 specifying the position in the frame image where the part is photographed, the frame ID 65 specifying the frame including the part in the video, the best shot A part score 66 for determination is registered corresponding to the part ID 61. Therefore, from the part ID of the best shot camera table in FIG. 4 or the best shot merge table in FIG. 5, the feature amount 63, score 66, and the like of the part can be grasped.
- the parts DB 215 shown in FIG. 6 can be fetched for each frame of a moving image, calculate the score of each part, and store only information corresponding to the highest score.
- the part ID “10318” is a feature amount and a score “5” for the part type 62 “face”.
- an image of the part type 62 “face” is newly input as the part ID 61 “10003”, and when the score is calculated based on the best shot definition table, it becomes “3”, and the part ID “10318” is It is determined that this is the best shot.
- the best shot is an image that best captures the part, and the identity of the person is accurately grasped by comparing the characteristic amount of the part with another person's trajectory based on the corresponding characteristic amount. be able to.
- the best shot of each part is determined for the same person's trajectory from entering the shooting range of one camera to going out of the shooting range, and the feature amount of each part in the best shot is stored. .
- the best shot of each part is determined for the same person's trajectory from entering the shooting range to going out of the shooting range, and the feature amount of each part in the best shot is determined.
- the degree of similarity is calculated by comparing each part. If the sum of the similarities of the parts is equal to or greater than a certain threshold, it is determined that the two person trajectories photographed by different cameras are the same person (identity).
- the parts DB in FIG. 6 is an example in which one table is described for the same person trajectory. For example, by adding information specifying a person such as a person ID in FIG. It can also be managed in a table.
- the feature amount may be a known edge pattern feature amount, a feature amount using a generally known intermediate feature amount of deep learning, or the like.
- the part coordinates are rectangular, but coordinates indicating polygons may be used.
- a part image can also be stored in association with the part ID so that the image of the best shot can be confirmed later.
- the parts DB may be created for each camera or may be created by merging parts of a plurality of cameras. Further, in order to prevent the capacity of the parts DB from increasing, data other than the data of the best shot parts may be deleted, or data after a certain time may be deleted.
- FIG. 7 is a diagram showing an example of obtaining the best shot.
- the feature amount of the bag of this frame is stored together with the feature amount 63 and the score 66 of the parts DB 215 of FIG. 6, and the part ID 61 is stored in the bag 47 of the best shot camera table 213 of FIG.
- the stored score for each part is compared with the score of the best shot of the bag of the person trajectory taken by another camera.
- the feature amount of the bag appearing in the frame with the highest score is managed in the best shot merge table 214 of FIG. 6 via the part ID as the feature amount of the person's bag.
- FIG. 8 is a diagram showing an example of the frame image DB 216.
- a frame ID 81 for identifying a frame image obtained by cutting an image from a video at a specified time interval, a file 82 of the frame image, and a shooting date and time 83 are registered.
- the frame image DB 216 may be created for each camera or may be created by merging a plurality of cameras. If it is necessary to reduce the capacity of the image file, instead of the frame image, H.264 is used. For example, a frame image may be cut out based on time information from a moving image when the image is compressed and stored as a moving image using a moving image compression method such as H.264.
- the video acquisition program 217 acquires a video or an image from the camera 11 or the luggage appearance camera 13, and registers the video or image in the frame image DB 216. It should be noted that the video may be received in real time, or a method of receiving the video once stored may be used.
- the person tracking program 218 calculates the difference information between the previous and next frames from the video acquired by the video acquisition program 217 using an optical flow or the like, and calculates a set of adjacent pixels changing in the same direction for each frame.
- a known technique for specifying an area that keeps changing in the same direction as an area of the same person is used.
- the person tracking program 218 assigns the same person ID as the same person.
- any method may be used as long as the person can be tracked, such as a method of detecting a person region using a background difference method and tracking a person region having a similar position in the previous and next frames of the video as the same person. . If the person can be tracked, the person may be tracked using information of a 3D sensor such as a stereo camera.
- the person tracking program 218 has a function of associating luggage with a person when receiving luggage in an area for receiving luggage coming out of an X-ray inspection device or the like, or in an area such as a turntable for receiving luggage checked at an airport.
- the luggage appearance image captured by the luggage appearance camera 13 can be associated with a person.
- the correspondence between the person and the baggage is determined by detecting the timing at which the baggage is received and identifying the person closest to the baggage at that time.
- any method may be used as long as luggage can be associated with a person.
- FIG. 9 is a diagram showing a method executed by the person position specifying program 219 to specify a person position on a two-dimensional plane based on a person position detected from a camera image.
- the person position specifying program 219 specifies the position of the person at the foot of the person using the coordinates of the frame image prepared for each camera and information on the positional relationship on the two-dimensional plane. For example, as shown in the upper diagram of FIG. 9, the camera image is divided into grids, and the correspondence relationship between each grid and which position in the lower diagram of FIG. 9 is registered in advance. Then, the position on the two-dimensional plane is specified from the position of the checkered foot in the upper diagram of FIG. If the position of the person can be specified from the camera video, the position may be specified using another technique.
- the part area detection program 220 shown in FIG. 2 detects a part area from the information on the position of the person acquired from the frame image and registers it in the parts DB 215. For example, from the traveling direction of the person estimated based on the position of the person, it can be estimated whether the person is in the front direction, the back direction, or the lateral direction, and can be cut out using a template of parts illustrated in FIG. Regarding the presence / absence of each part, the similarity between the cut-out image and the general part image is calculated using a known similar image search technique, and if the similarity is large, it is determined that the part is present. can do.
- the best shot determination program 221 acquires the best shot for each part from a frame image (person trajectory) tracked by one camera as the same person.
- the parts acquired from the frame image using the parts area detection program 220 are compared with the scores of the same parts acquired from other frame images of the same person trajectory, and the frame with the larger score is determined as the best shot. If the scores are the same, the best shot is determined based on the value of a predetermined item such as the one with the larger area as the best shot.
- the camera table update program 222 updates at a timing when a person's trajectory is interrupted (a timing at which one person's trajectory ends), such as when a person is displayed outside the angle of view of the camera. At this time, information such as the feature amount of the person who formed the person trajectory is acquired from the parts DB 215. In the best shot determination program 221, the part type 215, the feature amount 63, the frame ID 65, and the score 66 of the best shot acquired from the person trajectory are stored in the parts DB 215 in correspondence with the part ID 61. Register in the corresponding part of the camera table. When registration is completed, the presence or absence of a person trajectory in which the same person is reflected in the latest person trajectory is determined using a person search program. Also, the one with the highest score for each part is adopted.
- the determination as to whether different trajectories are caused by the same person is made by comparing the degree of similarity of the feature amount of each part. That is, the best shot of each part is determined, and the similarity is calculated by comparing the feature amount of each part in the best shot for each part. If the sum of the similarities of the parts is equal to or greater than a certain threshold, it is determined that the two person trajectories photographed by different cameras are the same person (identity of the person).
- the merge table update program 223 compares the scores (based on the best shot definition table) of each part in one person trajectory registered in the best shot camera table 213, and determines the higher score as the best shot of each part. . That is, the merge table update program 223 registers the part ID corresponding to the high score as the value of the part ID read for each part such as the head 43 and the face 43 of the best shot camera table 213 shown in FIG. The part ID registered in the best shot camera table 213 is called a best shot part.
- the person search program 224 acquires the person ID of the best shot merge table 214 corresponding to the registered person trajectory, and the best shot determination program 221 further registers the newly registered best shot parts and the best shot merge table 214.
- the best shot parts that have been registered are compared, and if the score of the newly registered best shot part is large, the ID of the best shot part registered in the best shot merge table 214 is updated.
- a score 66 calculated based on the best shot definition table 212 corresponding to the best shot parts (part ID) is registered, and corresponds to the newly registered best shot parts.
- the best shot is determined by comparing the stored score with the score stored corresponding to the best shot part registered in the best shot merge table 214. It is assumed that the best shot parts to be compared are person trajectories by the same person. The determination of the person's identity is made based on the similarity of the feature amount of each part.
- the person search program 224 compares the apparent similarities of the best shot parts (best shots for each part) between the human trajectories using the feature amounts registered in the parts DB 215, and calculates the sum of the similarities of the parts.
- a person trajectory equal to or larger than the threshold is acquired as a person trajectory of the same person.
- the similarity is calculated for each best shot part, and the similarity between heads, similarity between faces, similarity between profiles, similarity between clothes, similarity between bags, and similarity between shoes are calculated. If the sum of the similarity between the hats and the similarity between the clocks is greater than or equal to the threshold value, they are determined to be the same person.
- the item is excluded from the calculation.
- each item may be weighted in advance.
- the similarity of each part can be calculated by using a similar image search technique or the like, but other methods may be used as long as the similarity can be calculated.
- the sum of the similarities may be an average value of the similarities, and in that case, the sum of the similarities may be divided by the number of parts.
- FIG. 11 is a diagram showing an example of a configuration diagram of the work terminal PC4.
- the work terminal PC4 for designating a person to be searched or tracking the owner of the luggage that needs to be confirmed and displaying an alert includes a CPU 111, a main memory 112, an input unit 113, It is configured by a computer including a display unit 114, a communication unit 115, and a storage unit 116.
- the storage unit 116 stores an OS 1161, a person search screen display program 1162, and an alert screen display program 1163. These various programs are read into the main memory 112 and various functions are realized by the CPU 111 executing the programs.
- the person search screen display program 1162 displays the video of the camera 11 in real time, or inputs the video stored in the frame image DB 216 of the video analysis PC 3 from the input unit 113 on conditions such as the date and time requested by the user and the camera installation position. Then, an image requested by the user is displayed according to the input.
- the person search screen display program 1162 receives a region designation from the input unit 113 such as a mouse, and uses the best shot parts of the person who has received the region designation.
- the image is searched by the person search program 224 of the image analysis PC 3 to search for and display the image of the same person of another camera, or to display the movement locus of the person on a map.
- the alert screen display program 1163 tracks the person with the person ID indicating the person area at the specified position when the suspicious baggage is detected by the X-ray inspection apparatus or the like. The information is displayed together with the result, and the screen for displaying the latest information for confirming where the person is located is displayed on the display unit 114 such as the display of the work terminal PC4.
- FIG. 12 is a flowchart showing an example of acquiring the best shot parts for each person trajectory of the same person from the video data acquired from the camera 11.
- the video acquisition program 217 acquires a video from the camera 11, and stores the frame image acquired from the video in the frame image DB 216 (S1201).
- the video is compressed by MotionJpeg, MPEG encoding, or the like, the video is divided into frame images so that image processing can be performed.
- the person tracking program 218 reads video data from the camera 11 or the frame image DB 216, detects an area where a person exists from each frame image, and uses a method such as an optical flow to determine the area and the movement trajectory of the person. It is acquired (S1202). When a plurality of persons are shown in the same frame image, the person trajectory ID is stored in the best shot camera table 213 for each person.
- the person position specifying program 219 obtains a person position on a two-dimensional plane from the area information of the person obtained in step S1202 by the method described with reference to FIG. 9 (S1203). Since the moving direction of the person can be known by specifying the position of the person on the two-dimensional plane, there is an effect that the best shot parts related to the direction in which the person is facing can be easily obtained.
- the part area detection program 220 detects the part area and the part type corresponding to the head, face, profile, clothes, bags, shoes, hats, and clocks (S1204). If the part area is not detected, it is determined that the part is not reflected, and it is determined that there is no detection target. In this step, the region of each part is detected using the template of each part shown in FIG. The detection of each part region can also be performed by using a segmentation process of deep learning.
- the video analysis PC 2 continues the above steps S1201 to S1204 until the human trajectory is interrupted, and stores the acquired data in the buffer or the parts DB 215 (S1205). That is, data is stored in the parts DB 215 until a person enters the shooting range of one camera and goes out of the shooting range.
- the above processing is executed for each person.
- a description will be given assuming that there is one person trajectory.
- the best shot determination program 221 creates an entry in the parts DB 215 and registers information (S1205). In this step, when receiving the part area and the part type from the part area detection program 220, the best shot determination program 221 assigns a part ID and stores it in the part type 62 of the part DB 215. When the part ID is given, the part coordinates are received from the person position specifying program 219, and the part coordinates 64 are stored in the corresponding part ID. Further, the best shot determination program 221 calculates the characteristic amount 63 for each part and stores the characteristic amount 63 in the parts DB 215.
- the best shot determination program 221 calculates the score of each part based on the best shot definition table 212 for each part, and stores the score in the parts DB 215. As described above, the best shot determination program 221 acquires information constituting the part DB 215 such as the part ID 61, the part type 62, and the feature amount 63 for one person trajectory for each video frame, and stores the information in the part DB 215. Store.
- the parts DB 215 stores the feature amount 63 and the score 66 of each part for each frame of the video by the best shot determination program 221.
- the information stored in the parts DB 215 can always be the information of the best shot of each part, and the capacity of the parts DB 215 can be reduced.
- the value of the part ID 61 registered in the parts DB 215 is registered in the best shot camera table 213 by the camera table update program 222 (S1207).
- the same person may be reflected again on the same camera. Merges those person trajectories.
- the determination of the same person is made based on the similarity of the feature amount for each part.
- the scores are compared for each part, and the one with the higher score is determined as the best shot part of the part.
- the update event of the best shot camera table 213 is received by the merge table update program 223, and when the event is updated, the score of the new best shot part registered in the best shot camera table and the best shot merge table 214 Compare the scores of the past best shot parts registered in the best shot parts, and if the scores of the new parts are large, update the best shot parts (part ID values) registered in the best shot merge table 214 (S1208). ).
- step S1201 when the input of the video is completed, the process is terminated.
- step S1207 # By performing the processing from step S1201 to step S1207 # on the images of all the cameras 11, the parts of the best shot obtained from different times can be obtained for each person trajectory, that is, for each person trajectory ID. There is an effect that the feature amount indicating the feature of (1) can be acquired to the maximum.
- steps S1203 to S1208 are executed for each person trajectory and are executed asynchronously for each person trajectory, so that the best shot parts of another person can be acquired during the acquisition of the best shot parts of the first person. Not to be.
- FIG. 13 shows an example of a video search process of a specified person for a video displayed on the work terminal PC4.
- the person search screen display program 1162 displays the real-time video of the camera 11 or the video stored in the frame image DB 216 of the video analysis PC 3 on the display unit 114 such as a display (S1301).
- the display of the real-time video may be such that the video of the designated camera 11 is displayed side by side on the screen, the camera 11 is switched and displayed in a predetermined order, or the video of the camera 11 can be confirmed.
- the time and camera ID are specified by the user, and the video analysis PC 3 requests the video analysis PC 3 to obtain the video data, thereby displaying the obtained video.
- the person search screen display program 1162 receives designation of a person to be searched through the input unit 114 such as a keyboard or a mouse, and specifies a camera ID, a frame image ID, date and time, designated coordinates, etc., which can specify the person to be searched.
- Information is acquired (S1302).
- the arrow indicates the position of the mouse cursor, and the person at the position where the mouse is clicked is specified as the person to be searched.
- a rectangle or the like indicating a person area may be superimposed and displayed on the display image on the part of the person area detected by the image analysis PC.
- the information of the best shot parts of the specified person is obtained from the best shot merge table 214 by the person search program 224, and the best shot parts
- a person search is performed to specify a human trajectory having a high similarity as the same person (S1303). If the person trajectory corresponding to the selected frame image has already been registered in the best shot merge table 214, the search result of the same person can be obtained only by obtaining the corresponding person trajectory ID.
- the best shot parts are detected from the video, and the information of the parts is used to search for the same person in the same person search program as in the processing of the best shot parts.
- the locus is specified from the best shot merge table.
- the person search screen display program 1162 displays the search result acquired in step S1303 for performing a person search on a display device such as a display (S1304).
- the search result is displayed by arranging the images of the camera including the trajectory of the search result side by side, displaying the movement trajectory of the person on a two-dimensional map, and displaying the best shot parts side by side for each trajectory. Any method can be used as long as the action history of the person can be confirmed.
- FIG. 14 is a flowchart showing an example of a process for displaying the latest information of the alert target person received by the work terminal PC4.
- the alert screen display program 1163 receives an alert signal in baggage inspection by the X-ray inspection apparatus 12 and the like, and receives information including an alert content together with a baggage appearance image captured by the baggage appearance camera 13 (S1401).
- the person tracking program 218 performs the above-mentioned baggage processing based on information on the position where the person and the baggage meet in advance, such as the baggage receiving area of the inspection device, and information on the speed of the belt conveyor of the X-ray inspection device 12. Identify and obtain a person area including the person who is the owner of the bag and baggage at the time of receiving (S1402).
- the alert screen display program 1163 performs the tracking of the person and obtains the best shot parts in the person trajectory in the same manner as the procedure for obtaining the best shot parts (S1403).
- the presence / absence of the alert target person of the other camera is determined by the person search program 224 in the same manner as in the above-described person search procedure.
- the amount is calculated by comparing the amounts, and a person having a locus including many similar best shot parts or having a high degree of similarity is specified as an alert target, so that a person is tracked by another camera (S1404).
- the alert screen display program 1163 causes the display device to display a live image of the camera 11 including the latest image including the specified person (S1405).
- a person search can be performed with high accuracy based on information on a plurality of parts of a person photographed by the camera 11.
- a person can be searched, searched, and tracked based on the feature amount of each part in a frame that captures the feature of each part most in the video.
- 1 input device
- 2 network
- 3 video analysis PC
- 4 work terminal PC
- 11 camera
- 12 X-ray baggage inspection device
- 13 baggage appearance camera
- 201 CPU
- 202 main memory
- 203 Input unit
- 204 display unit
- 205 communication unit
- 210 storage unit
- 212 best shot definition table
- 213 best shot camera table
- 214 best shot merge table
- 215 parts DB
- 220 parts area detection program
- 221 Best shot determination program
- 222 Camera table update program
- 223 Merge table update program
- 1162 Person search screen display program
- 1163 Alert screen display program.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
複数台のカメラの映像から特定の人物の対応付けや、要注意人物として指定した人物の検索を正確に行うことができる映像解析装置を提供することを目的とする。映像解析装置は、複数のカメラを有する撮影装置に接続される映像解析装置であって、前記映像解析装置は、カメラに撮影された撮影された複数の人物に対し、複数の人物の内の少なくとも一の人物を追跡し、追跡された人物の複数のパーツを検出し、検出された複数のパーツについて、パーツ毎のベストショットを決めるためのスコアを定義した情報に基づいて、パーツ毎のスコアを、監視カメラによる映像のフレーム毎に計算し、フレーム毎に計算された各パーツのスコアを、パーツ毎に比較して、パーツ毎のベストショットを決定し、パーツ毎に、当該パーツの特徴量を対応させて記憶し、複数の人物のパーツ毎の特徴量を比較して、人物の同一性を判定する。
Description
本発明は、映像の中から特定の人物を検索または追跡する技術に関する。
監視カメラの設置場所の拡大に伴い、監視カメラ映像から特定の人物を探したいというニーズが高まっている。人物を検索する目的として、気になる人物を発見した場合に、その人物の過去の行動を確認したり、その後の行動を追跡して監視したりすることが挙げられる。常に人物の正面顔が検出できない場合でも、正確に人物を追跡して登場人物を検出する技術としては、特許文献1があげられる。
特許文献1では、映像から連続検出した顔画像の顔サイズの変化量を検出し、変化量が連続的である場合に、同一人物と判定し、保存に適している顔画像をベストショットとして記憶媒体に保存し、保存した情報を検索キーとして人物検索を行う方法が開示されている。
特許文献1の技術では、ベストショットとして顔のみに注目しているため、顔のみで十分識別可能なベストショットがない場合、人物検索が困難となることが考えられる。また、複数のカメラを利用して、人物を追跡しようとした場合、他のカメラでは顔が映っていない場合などがあり、他のカメラによる追跡ができない場合が考えられる。また、空港の手荷物検査などのように人物だけでなく、手荷物の危険性がきっかけとなって人物を検索したいという場合に、手荷物にも注目して追跡をすることができない。
そこで、本発明は、人物の特徴をよく表す情報を数多く取得することで、同一人物を検索できる技術を提供することを目的とする。
また、本発明は、複数台のカメラの映像から特定の人物の対応付けや、要注意人物として指定した人物の検索を正確に行うことができる技術を提供することを目的とする。
上記課題を解決するために、本発明の映像解析装置は、その一例を挙げるならば、複数のカメラを有する撮影装置に接続され、カメラに撮影された撮影された複数の人物に対し、複数の人物の内の少なくとも一の人物を追跡し、追跡された人物の複数のパーツを検出し、検出された複数のパーツについて、パーツ毎のベストショットを決めるためのスコアを定義した情報に基づいて、パーツ毎のスコアを、監視カメラによる映像のフレーム毎に計算し、フレームに計算された各パーツのスコアを、パーツ毎に比較して、パーツ毎のベストショットを決定し、パーツ毎に、当該パーツの特徴量を対応させて記憶し、複数の人物の前記パーツ毎の特徴量を比較して、人物の同一性を判定する。
また、上記課題を解決するために、本発明の人物検索システムは、その一例を挙げるならば、複数のカメラを有する撮影装置と接続される映像解析装置と、表示部と入力部とを有する作業端末を有する人物検索システムであって、映像解析装置は、カメラに撮影された撮影された複数の人物に対し、複数の人物の内の少なくとも一の人物を追跡し、追跡された人物の複数のパーツを検出し、検出された複数のパーツについて、パーツ毎のベストショットを決めるためのスコアを定義した情報に基づいて、パーツ毎のスコアを、監視カメラによる映像のフレーム毎に計算し、フレーム毎に計算された各パーツのスコアを、パーツ毎に比較して、パーツ毎のベストショットを決定し、パーツ毎に、当該パーツの特徴量を対応させて記憶し、複数の人物のパーツ毎の特徴量を比較して、人物の同一性を判定する。
本発明によれば、複数のフレーム画像から人物の複数パーツの特徴を表すベストショットを選択し、ベストショットの特徴量を把握することができるので、高精度に同一人物を検索あるいは追跡することができる。
<全体構成>
まず本発明の第一の実施の形態について、図面を参照して説明する。
図1は、人物検索システムの一例を示す構成図である。図1において、人物検索システムは、撮影デバイスや手荷物検索装置で構成される入力デバイス1と、各入力デバイス1と各PC(パーソナルコンピュータ)を接続するインターネットやイントラネットなどのネットワーク2と、入力または蓄積された映像の内容を解析する映像解析装置(以下、映像解析PC)3と、人物検索の指示および人物検索結果の表示やアラートなどに用いる作業端末PC4を有する。入力デバイス1は、各拠点の全体を監視するために設置される監視カメラ等の複数台の撮影装置(カメラ)11と、鞄や携行品の中に危険物がないかを検査するX線手荷物検査装置(X線検査装置と呼ぶ)12と、X線検査装置12の内部、または装置付近など、荷物が搬送される位置の荷物外観を撮影する荷物外観撮影カメラ(荷物外観カメラと呼ぶ)13とで構成される。また、これらのデバイスを複数拠点に設置し、複数拠点間で映像などを共有して活用することも可能である。また、これらの入力デバイス1は、全ての拠点で、すべての種類のデバイスを設置する必要はなく、必要な種類のデバイスを設置すればよい。
まず本発明の第一の実施の形態について、図面を参照して説明する。
図1は、人物検索システムの一例を示す構成図である。図1において、人物検索システムは、撮影デバイスや手荷物検索装置で構成される入力デバイス1と、各入力デバイス1と各PC(パーソナルコンピュータ)を接続するインターネットやイントラネットなどのネットワーク2と、入力または蓄積された映像の内容を解析する映像解析装置(以下、映像解析PC)3と、人物検索の指示および人物検索結果の表示やアラートなどに用いる作業端末PC4を有する。入力デバイス1は、各拠点の全体を監視するために設置される監視カメラ等の複数台の撮影装置(カメラ)11と、鞄や携行品の中に危険物がないかを検査するX線手荷物検査装置(X線検査装置と呼ぶ)12と、X線検査装置12の内部、または装置付近など、荷物が搬送される位置の荷物外観を撮影する荷物外観撮影カメラ(荷物外観カメラと呼ぶ)13とで構成される。また、これらのデバイスを複数拠点に設置し、複数拠点間で映像などを共有して活用することも可能である。また、これらの入力デバイス1は、全ての拠点で、すべての種類のデバイスを設置する必要はなく、必要な種類のデバイスを設置すればよい。
荷物外観カメラ13は、X線検査装置12の内部または周辺に設置されており、X線検査装置12で撮影したX線画像に危険物や要確認荷物が含まれていた場合に、自動または人手で荷物が指定されると、その荷物の外観が撮影される。また、空港の預け荷物を受け取るターンテーブルのように、X線検査装置がない場所に設置することもできる。尚、荷物外観が撮影できれば、他の手段で撮影しても構わない。
次に、映像解析PC3について、図2を参照しながら説明する。図2は、映像解析PCの構成の一例を示す図である。
カメラ11で撮影された映像を解析し、各人物のベストショットをカメラ11毎に取得して記憶する映像解析PC3は、CPU201、主メモリ202、入力部203、表示部204、通信部205および記憶部210を含む計算機で構成される。記憶部210には、OS211と、ベストショット定義テーブル212と、ベストショットカメラテーブル213と、ベストショットマージテーブル214と、パーツDB215と、フレーム画像DB216と、映像取得プログラム217と、人物追跡プログラム218と、人物位置特定プログラム219と、パーツ領域検出プログラム220と、ベストショット判定プログラム221と、カメラテーブル更新プログラム222と、マージテーブル更新プログラム223と、人物検索プログラム224とが格納される。
カメラ11で撮影された映像を解析し、各人物のベストショットをカメラ11毎に取得して記憶する映像解析PC3は、CPU201、主メモリ202、入力部203、表示部204、通信部205および記憶部210を含む計算機で構成される。記憶部210には、OS211と、ベストショット定義テーブル212と、ベストショットカメラテーブル213と、ベストショットマージテーブル214と、パーツDB215と、フレーム画像DB216と、映像取得プログラム217と、人物追跡プログラム218と、人物位置特定プログラム219と、パーツ領域検出プログラム220と、ベストショット判定プログラム221と、カメラテーブル更新プログラム222と、マージテーブル更新プログラム223と、人物検索プログラム224とが格納される。
これら記憶部210に格納された各種プログラム(217~224)は、主メモリ202に読み込まれ、CPU201が実行することにより、各種機能を実現する。
図3は、ベストショット定義テーブル212の一例を示す。ベストショット定義テーブル212には、人物の、頭部、顔、横顔、服装、鞄等の各パーツのベストショットを決めるためのスコアを定義した情報が登録される。ベストショット定義テーブルの項目スコアは、パーツの種類別に使用する面積S31、正面度合D32、幾何学的特徴点数N等の項目(31~35)毎にスコアを定義する。
例えば、顔のパーツであれば、顔の面積31、顔の正面度合であるパーツの正面度合32、顔を検出したときの顔らしさを示す検出信頼度35を用いて、これら使用する項目のスコア(項目スコア)の値を加算することで、顔のスコアを計算する。このような、顔のスコアは、時間の異なる他の画像の同一人物の顔のスコアと比較され、スコアが大きいほうをベストショットとして選択するための情報となる。尚、服装や鞄など、身に付ける人工物のアイテムに関しては、模様など個々の特徴を表す幾何学的特徴33や鮮明さを示す輝度値34なども、各パーツにおいてベストショットを決定する上での大きな影響要因となるため、これらの項目を含めても構わない。
例えば、頭部のベストショットを判定する場合、頭部領域として特定された領域の面積31、頭部の角度であるパーツ正面度合32、検出信頼度35の3つの項目でそれぞれスコアを算出し、これらのスコアを加算することで、頭部のスコアを計算する。面積は、検出された頭部領域の面積すなわちピクセル数とし、頭部の角度は、人物の進行方向や顔検出結果から得られたカメラから見た頭部の角度とする。
横顔のベストショットを判定する場合、横顔として特定された領域の面積31、顔の向きであるパーツ正面度合32、および検出信頼度35でスコアを定義し、横顔のスコアを計算する。横顔かどうかの判定は、人物の進行方向から取得しても、全身の見た目の特徴を用いて、ディープラーニングなどの一般的な手法により方向を推定しても構わない。
服装のベストショットは、例えば、上半身の前方向、上半身の後ろ方向、下半身の前方向、下半身の後ろ方向について、服装の面積31、正面度合であるパーツ正面度合32、服のデザインの特徴を示す幾何学的特徴点33、輝度値34及び、検出信頼度35でスコアを定義し、服装のスコアを計算する。正面角度は、人物の進行方向などから取得する。ここで、幾何学的特徴点の数は、公知のSIFT特徴量などを用いて特徴点を抽出し、その数で特定することができる。また、ハフ変換などでエッジ成分を抽出して、エッジの長さの総和などでスコアを定義しても構わない。
帽子のベストショットは、服装と同様にスコアを算出する。尚、帽子がない人物については、パーツがないため、計算対象から除外する。
時計のベストショットは、パーツが小さく、標準的な方向がないため、面積や検出信頼度を用いて、スコアを計算する。尚、時計を着用していない人物については、パーツがないため計算対象から除外する。
以上の通り、面積31、パーツ正面度合32、幾何学的特徴点数33、輝度値34、検出信頼度35等を用いて、人物の各パーツの特徴を表す項目を選択し、これらのスコアを加算することで、各パーツのスコアを計算することができる。尚、各項目のスコアを単純に加算するだけではなく、項目のスコアの加算値を項目数で除算した平均値としてもよい。また、パーツに応じて各項目のスコアに重み付けを持たせて、各パーツのスコアを計算してもよい。ベストショット定義テーブルの項目は図3に示したものに限るものではなく、各パーツの特徴に応じて、追加することができる。
これらベストショット定義テーブルの例は、一例であり、対象のパーツの情報量が多いパーツが選択できれば、別のスコア定義方法を用いても構わない。尚、ベストショット定義テーブルは、ベストショットとしたい条件で撮影したパーツの画像を、各パーツの種別毎に画像として登録し、公知の類似画像検索技術を用いて類似する画像をベストショットとする画像を取得し、ベストショットを登録することもできる。
図4は、ベストショットカメラテーブル213の一例を示す。
同じカメラ内で同一人物と特定された人物を識別する人物軌跡ID41と、図5で示すベストショットマージテーブル214に登録された人物軌跡の参照用に使用するマージテーブルID42と、頭部43、顔44、横顔45、服装(上前)46、鞄47、靴48、帽子49等のベストショットのパーツと、最後にベストショットが更新された日時の情報410が登録される。各パーツには、図6に示したパーツIDの値が記憶される。パーツIDは、パーツの特徴量やスコアに対応して管理される情報であるが、これについては、図6を用いて後述する。尚、図4に示したパーツは一例であって、例えば、服装の上着の前を示す服装(上前)46の他に、服装の上着の後ろを示す服装(上後)、下半身の服装の前側の服装(下前)、下半身の服装の後側の服装(下後)等を追加してもよい。
同じカメラ内で同一人物と特定された人物を識別する人物軌跡ID41と、図5で示すベストショットマージテーブル214に登録された人物軌跡の参照用に使用するマージテーブルID42と、頭部43、顔44、横顔45、服装(上前)46、鞄47、靴48、帽子49等のベストショットのパーツと、最後にベストショットが更新された日時の情報410が登録される。各パーツには、図6に示したパーツIDの値が記憶される。パーツIDは、パーツの特徴量やスコアに対応して管理される情報であるが、これについては、図6を用いて後述する。尚、図4に示したパーツは一例であって、例えば、服装の上着の前を示す服装(上前)46の他に、服装の上着の後ろを示す服装(上後)、下半身の服装の前側の服装(下前)、下半身の服装の後側の服装(下後)等を追加してもよい。
人物軌跡IDの最初の2桁は、カメラを識別するための値としているが、カメラIDとカメラ識別IDを別の値としてテーブルで管理しても構わない。尚、複数のカメラがある場合、ベストショットカメラテーブル213は、各々のカメラの人物軌跡毎に作成する。但し、カメラ毎にベストショットカメラテーブル213を用意しても、ベストショットカメラテーブル213を1つのテーブルとしてまとめても構わない。
図5は、ベストショットマージテーブル214の一例を示す図である。図5に例を示すように、複数のカメラ内で同一人物と特定された人物を識別する人物ID(図4のマージテーブルID42と対応させることも可能である)51と、図4と同様に頭部52、顔53、横顔54、服装55、鞄56、靴57、帽子58、時計59、および最後にベストショットが更新された日時510の情報が登録される。ベストショットマージテーブル214では、図4と同様に頭部52、顔53、横顔54、服装55、鞄56、靴57、帽子58、時計59に対応してベストショットのパーツIDの値を登録する。ベストショットカメラテーブル213とベストショットマージテーブル214との違いは、ベストショットカメラテーブル213は、カメラ内の人物軌跡に対するベストショットであることに対して、ベストショットマージテーブル214は、複数のカメラの人物軌跡で同じ人物のベストショットをマージしている点である。即ち、ベストショットカメラテーブルが更新されると、ベストショットマージテーブルも更新される。
図4のマージテーブルIDを参照すると、図4の人物軌跡ID41の「10001」と「10003」に同じ、マージテーブルID42「200001」が付されているため、人物軌跡ID41の「100001」と「100003」は同一人物であることが把握できる。同一人物が一台のカメラの撮影範囲に異なる時間に侵入した結果、二つの人物軌跡として管理されている。人物軌跡ID41の「10001」と「10003」は同一人物であり、図5のパーツIDが図4の人物軌跡ID「10001」の各パーツのパーツIDの値と同一であることから、人物軌跡ID41の「10001」の方が、全てのパーツでベストショットであることになる。
一方、図5の人物ID51の「200002」の頭部52、顔53、横顔54については、図4の人物軌跡「10002」と同じパーツIDであるため、頭部52、顔53、横顔54については、人物軌跡「10002」の際にベストショットが存在し、鞄56等の他のパーツについては、他のカメラによって撮影された人物軌跡上にベストショットが存在することになる。
図6には、パーツDB215の一例を示している。パーツ種別62、パーツのベクトルデータなどの特徴量63、パーツが撮影されているフレーム画像中の位置を特定するパーツ座標64、映像の中のパーツが含まれるフレームを特定するフレームID65、ベストショットを判定するためのパーツのスコア66が、パーツID61に対応して登録される。従って、図4のベストショットカメラテーブルや図5のベストショットマージテーブルのパーツIDから、当該パーツの特徴量63やスコア66等を把握することができる。
図6に示したパーツDB215は、動画像のフレーム毎に取り込まれ、各パーツのスコアを計算し、最も高いスコアに対応する情報のみを格納することもできる。例えば、パーツID「10318」は、パーツ種別62「顔」についての特徴量、スコア「5」等である。この状態で、新たにパーツID61「10003」として、パーツ種別62「顔」の画像が入力され、ベストショット定義テーブルに基づいて、スコアを計算すると「3」となり、パーツID「10318」の方がベストショットであると判断される。ベストショットが当該パーツを最もよく捉えている画像であり、これに対応する特徴量に基づいて、他の人物軌跡の当該パーツの特徴量と比較することで、人物の同一性を精度よく把握することができる。
つまり、1台のカメラの撮影範囲に侵入してから撮影範囲の外に出るまでの同一人物の人物軌跡について、各パーツのベストショットを判定し、そのベストショットにおける各パーツの特徴量を記憶する。他のカメラについても同様に、撮影範囲に侵入してから撮影範囲の外に出るまでの同一人物の人物軌跡について、各パーツのベストショットを判定し、そのベストショットにおける各パーツの特徴量を、パーツ毎に比較して類似度を計算する。各パーツの類似度の総和がある一定の閾値以上である場合に、異なるカメラで撮影された二つの人物軌跡は同一人物(同一性)であると判定する。
図6のパーツDBは同一の人物軌跡に対して一つのテーブルを記載した例としているが、例えば、図5の人物IDのような人物を特定する情報を付加することにより、複数人物を一つのテーブルに纏めて管理することもできる。尚、特徴量には、公知のエッジパターン特徴量や、一般的に知られているディープラーニングの中間特徴量を用いた特徴量などを用いることができる。パーツ座標は、ここでは矩形としているが、多角形を示す座標などを用いても構わない。後からベストショットの画像を確認できるよう、パーツIDに対応させてパーツ画像を対応させて記憶することもできる。尚、パーツDBは、カメラ毎に作成しても、複数のカメラのパーツをマージして作成しても構わない。また、パーツDBの容量が増えることを防止するため、ベストショットパーツのデータ以外のデータは削除したり、一定時間を過ぎたデータを削除したりしても構わない。
図7は、ベストショット取得の一例を示す図である。図7には、一台のカメラの撮影範囲71に、人物が時刻t=t0で侵入し、時刻t=t3でフレームアウトする人物軌跡が示されている。当該人物は、右側に鞄を持っており、時刻t=t1のタイミングで鞄のベストショット、つまり、ベストショット定義テーブルに基づき計算された鞄のスコアが最も高いフレーム(画像と呼ぶこともある)となる例を示している。このフレームの鞄の特徴量が、図6のパーツDB215の特徴量63やスコア66と共に記憶され、パーツID61が図4のベストショットカメラテーブル213の鞄47に記憶される。そして、この記憶されたパーツ毎のスコアは、他のカメラで撮影された人物軌跡の鞄のベストショットのスコアと比較される。比較の結果、最も高いスコアのフレームに映る鞄の特徴量が、当該人物の鞄の特徴量として、パーツIDを介して図6のベストショットマージテーブル214で管理されることとなる。
また、時刻t=t2で人物はカメラ向きに移動しているため、このタイミングのフレームにおける顔(パーツ)のベストショットとなるフレームであることを示している。顔のベストショットは、各フレームの顔のスコアを計算し、フレーム毎に比較して決定されることは、鞄や他のパーツと同様である。また、顔のベストショットの特徴量は、パーツIDに対応してパーツDBに格納され、パーツIDは、人物軌跡毎に管理される図4のベストショットカメラテーブルや図5のベストショットマージテーブルの、各パーツの値となる。
図8は、フレーム画像DB216の一例を示した図である。図8に例を示すように、映像から指定時間間隔で画像を切り出したフレーム画像を識別するフレームID81、フレーム画像のファイル82、撮影日時83とが登録される。フレーム画像DB216は、カメラ毎に作成しても、複数のカメラをマージして作成しても構わない。また、画像ファイルの容量を削減する必要がある場合は、フレーム画像ではなく、H.264などの動画圧縮方式で圧縮して動画として保存し、参照時には、動画から時刻情報をもとにフレーム画像を切り出しても構わない。
図2に戻り、各プログラムによって実現される機能の説明を行う。
映像取得プログラム217は、カメラ11または荷物外観カメラ13から、映像または画像を取得し、フレーム画像DB216に登録する。尚、映像はリアルタイムに受信しても、一旦蓄積された映像を受信する方法でも構わない。
映像取得プログラム217は、カメラ11または荷物外観カメラ13から、映像または画像を取得し、フレーム画像DB216に登録する。尚、映像はリアルタイムに受信しても、一旦蓄積された映像を受信する方法でも構わない。
人物追跡プログラム218は、映像取得プログラム217により取得された映像から、前後のフレーム間の差分情報を、オプティカルフロー等を用いて算出し、同一方向に変化する隣接した画素集合をフレーム毎に算出し、同一方向に変化し続ける領域を同じ人物の領域として特定する公知の技術を利用する。人物追跡プログラム218は同一人物として同一の人物IDを付与する。その他、背景差分法などを用いて、人物領域を検出し、映像の前後フレームで位置が近い人物領域を同一人物として追跡する方法など、人物追跡ができれば、どのような方式を用いても構わない。また、人物が追跡できれば、ステレオカメラなど、3Dセンサの情報を用いて人物追跡を行なっても構わない。
さらに、人物追跡プログラム218は、X線検査装置等から出てきた荷物を受け取るエリアや、空港の預け荷物を受け取るターンテーブル等のエリアにおいて、荷物を受け取るときに荷物と人物を対応付ける機能を有し、荷物外観カメラ13で撮影した荷物外観画像と、人物とを対応づけることができる。人物と荷物の対応付けは、荷物が受け取られたタイミングを検知し、そのときに一番近くにいる人物を特定することで対応付けをする。この他、荷物と人物の対応付けができれば、どのような方法を用いても構わない。荷物と人物の対応付けを実施することで、荷物のベストショットをより鮮明に得られるという効果がある。
図9は、人物位置特定プログラム219によって実行され、カメラの映像から検出された人物位置をもとに、2次元平面上の人物位置を特定する方法を示した図である。
人物位置特定プログラム219は、カメラ毎に用意された、フレーム画像の座標と、2次元平面上の位置関係の情報を用いて、人物の足元の位置で人物位置を特定する。例えば、図9の上の図のように、カメラ映像をグリッド上に分割し、各々のグリッドが、図9の下の図のどの位置に対応するかの対応関係を事前に登録しておくことで、図9の上の図の市松模様の足元の位置から2次元平面上の位置を特定する。尚、カメラ映像から人物の位置が特定できれば、他の技術を用いて特定しても構わない。
人物位置特定プログラム219は、カメラ毎に用意された、フレーム画像の座標と、2次元平面上の位置関係の情報を用いて、人物の足元の位置で人物位置を特定する。例えば、図9の上の図のように、カメラ映像をグリッド上に分割し、各々のグリッドが、図9の下の図のどの位置に対応するかの対応関係を事前に登録しておくことで、図9の上の図の市松模様の足元の位置から2次元平面上の位置を特定する。尚、カメラ映像から人物の位置が特定できれば、他の技術を用いて特定しても構わない。
図2のパーツ領域検出プログラム220は、フレーム画像から取得した人物の位置の情報からパーツ領域を検出し、パーツDB215に登録する。例えば、人物位置をもとに推測した人物の進行方向から、人物が正面方向か、背面方向か、横方向かを推定し、図10に例を示すパーツのテンプレートを用いて切り出すことができる。尚、各パーツの有無については、切り出した画像に対して、公知の類似画像検索技術を用いて、一般的なパーツの画像との類似度を計算し、類似度が大きい場合にパーツ有と判定することができる。テンプレートを用いないパーツ領域検出については、一般に公開されているライブラリFully Convolutional Instance-aware Semantic Segmentationを用いて、パーツ毎の特徴を学習し、ディープラーニングのセグメンテーション(Segmentation)でパーツの領域を検出することも可能である。画像から、機械学習を用いてパーツ領域を検出する場合、検出の信頼度を示す値が一緒に得られることから、これをベストショットパーツの判定に使用する検出信頼度に用いることができる。
ベストショット判定プログラム221は、図7で説明したように、一台のカメラで同一人物として追跡したフレーム画像(人物軌跡)の中から、パーツ毎のベストショットを取得する。フレーム画像からパーツ領域検出プログラム220を用いて取得したパーツと、同一人物軌跡の他のフレーム画像から取得した同じパーツのスコアを比較し、スコアが大きいフレームをベストショットとして判定する。尚、スコアが同じ場合は、面積の大きいほうをベストショットとするなど、事前に定めた項目の値の大きさでベストショットを判定する。
カメラテーブル更新プログラム222は、人物がカメラの画角の外に出て表示されるなど、人物軌跡が途切れたタイミング(一つの人物軌跡が終了するタイミング)で更新する。この際、当該人物軌跡を形成した人物の特徴量などの情報をパーツDB215から取得する。ベストショット判定プログラム221で、パーツDB215には、人物軌跡内から取得したベストショットのパーツ種別62、特徴量63、フレームID65、スコア66がパーツID61に対応して記憶され、このパーツIDをベストショットカメラテーブルの対応するパーツに登録する。登録が完了すると、直近の人物軌跡で同じ人物が映った人物軌跡の有無を、人物検索プログラムを用いて判定し、直近に同じ人物軌跡がある場合は、人物軌跡をマージして、ベストショットパーツもパーツ毎にスコアが高いものを採用する。
尚、異なる人物軌跡が同一の人物(人物の同一性)によるものかの判断は、パーツ毎の特徴量の類似度を比較することで行う。つまり、各パーツのベストショットを判定し、そのベストショットにおける各パーツの特徴量を、パーツ毎に比較して類似度を計算する。各パーツの類似度の総和がある一定の閾値以上である場合に、異なるカメラで撮影された二つの人物軌跡は同一人物(人物の同一性)であると判定する。
マージテーブル更新プログラム223は、ベストショットカメラテーブル213に登録されている一つの人物軌跡における各パーツのスコア(ベストショット定義テーブルに基づく)を比較し、スコアの高い方を各パーツのベストショットとする。つまり、マージテーブル更新プログラム223は、高いスコアに対応するパーツIDを、図4に示したベストショットカメラテーブル213の頭部43、顔43等の各パーツに読み出したパーツIDの値として登録する。このベストショットカメラテーブル213に登録されたパーツIDをベストショットパーツという。
人物検索プログラム224は登録された人物軌跡に対応するベストショットマージテーブル214の人物IDを取得し、さらにベストショット判定プログラム221は、新規登録されたベストショットパーツと、ベストショットマージテーブル214に登録されているベストショットパーツを比較し、新規登録されたベストショットパーツのスコアが大きい場合には、ベストショットマージテーブル214に登録されているベストショットパーツのIDを更新する。
具体的には、パーツDB215には、ベストショットパーツ(パーツID)に対応してベストショット定義テーブル212に基づいて計算されたスコア66が登録されており、新規に登録されたベストショットパーツに対応して記憶されているスコアと、ベストショットマージテーブル214に登録されているベストショットパーツに対応して記憶されているスコアとを比較することにより、ベストショットを決定する。尚、比較されるベストショットパーツは同一人物による人物軌跡であることを前提とする。人物の同一性の判断は、パーツ毎の特徴量の類似度に基づいて判断する。
人物検索プログラム224は、人物軌跡間のベストショットパーツ(パーツ毎のベストショット)の見た目の類似度を、パーツDB215に登録されている特徴量を用いて比較し、各パーツの類似度の総和が閾値以上の人物軌跡を同じ人物の人物軌跡として取得する。類似度の計算は、ベストショットパーツ毎に計算し、頭部間の類似度、顔間の類似度、横顔間の類似度、服装間の類似度、鞄間の類似度、靴間の類似度、帽子間の類似度、時計間の類似度の総和が閾値以上である場合に、同じ人物として判定する。ここで、時計がないなど、比較対象のパーツがない場合は、その項目は計算から除外する。また、人物の特定の貢献度合いは、パーツ毎に異なるため、類似度の総和を求める際に、各項目に事前に定めた重みをかけて求めても構わない。尚、各パーツの類似度の計算は、類似画像検索技術などを用いることができるが、類似度が計算できれば、他の方法によっても構わない。尚、類似度の総和は、類似度の平均値であってもよく、その場合には、類似度の総和をパーツの数で除算すればよい。
図11は、作業端末PC4の構成図の一例を示した図である。検索対象の人物を指定したり、確認が必要な荷物の所有者を追跡してアラート表示したりする作業端末PC4は、図11に例を示すように、CPU111、主メモリ112、入力部113、表示部114、通信部115および記憶部116を含む計算機で構成される。記憶部116には、OS1161と、人物検索画面表示プログラム1162と、アラート画面表示プログラム1163とが格納される。これら各種プログラムは主メモリ112に読み出され、CPU111が実行することで各種機能が実現される。
人物検索画面表示プログラム1162は、カメラ11の映像をリアルタイムに表示または、映像解析PC3のフレーム画像DB216に蓄積された映像を、ユーザが要求した日時、カメラ設置位置などの条件が入力部113から入力されると、その入力に応じてユーザの要求した映像を表示する。また、人物検索画面表示プログラム1162は、確認したい人物をユーザが発見した場合は、マウス等の入力部113から、領域の指定を受け、該領域の指定を受けた人物のベストショットパーツを用いて、映像解析PC3の人物検索プログラム224で検索し、他のカメラの同一人物の映像を検索して表示または、人物の移動軌跡をマップ上に表示する。
アラート画面表示プログラム1163は、X線検査装置で不審荷物が検知されるなど、要確認人物が検知された場合に、特定した位置の人物領域を示す人物IDの人物を、他のカメラ11の追跡結果と共に表示し、最新の該人物がどこにいるかを確認するための情報を作業端末PC4のディスプレイなどの表示部114に画面を表示させる。
<ベストショットパーツ取得>
図12は、カメラ11から取得した映像データから同じ人物の人物軌跡毎にベストショットパーツの取得の例を示すフロー図である。
まず、映像取得プログラム217は、カメラ11から映像を取得し、映像から取得したフレーム画像を、フレーム画像DB216に格納する(S1201)。ここで、映像がMotionJpegやMPEGエンコードなどで圧縮されている場合には、画像処理ができるように、フレーム画像に分割する。
図12は、カメラ11から取得した映像データから同じ人物の人物軌跡毎にベストショットパーツの取得の例を示すフロー図である。
まず、映像取得プログラム217は、カメラ11から映像を取得し、映像から取得したフレーム画像を、フレーム画像DB216に格納する(S1201)。ここで、映像がMotionJpegやMPEGエンコードなどで圧縮されている場合には、画像処理ができるように、フレーム画像に分割する。
次に、人物追跡プログラム218は、カメラ11またはフレーム画像DB216から映像データを読み出し、各フレーム画像から人物が存在する領域を検出し、オプティカルフローなどの方式を用いて、人物の領域および移動軌跡を取得する(S1202)。尚、同じフレーム画像に、複数の人物が映っている場合は、人物毎に人物軌跡IDをベストショットカメラテーブル213に保存する。
次に、人物位置特定プログラム219は、ステップS1202で取得した人物の領域情報から、図9で説明した方法などにより、2次元平面上の人物位置を取得する(S1203)。2次元平面上の人物位置を特定することで、人物の移動方向が分かるので、人物が向いている方向が関係するベストショットパーツが取得しやすくなるという効果がある。
次に、パーツ領域検出プログラム220は、頭部、顔、横顔、服装、鞄、靴、帽子、時計に対応するパーツ領域とパーツ種別を検出する(S1204)。パーツ領域が検出されない場合は、パーツが映っていないと判断し、検出対象はないと判断する。なお、このステップで、図10の各パーツのテンプレートを用いて、各パーツの領域を検出する。各パーツ領域の検出は、ディープラーニングのセグメンテーション(Segmentation)処理を用いて行うこともできる。
映像解析PC2は、上記ステップS1201からS1204を、人物軌跡が途切れるまで継続し、バッファやパーツDB215に取得したデータを格納する(S1205)。つまり、一台のカメラの撮影範囲に人物が侵入し、撮影範囲から出ていくまで、パーツDB215にデータを格納する。尚、同じカメラのフレームに複数の人物が映っている場合は、人物毎に上記処理を実行する。ここでは、理解を容易にするため、人物軌跡が一つである場合として説明する。
ベストショット判定プログラム221は、パーツDB215にエントリーを作成し、情報を登録する(S1205)。このステップでは、ベストショット判定プログラム221は、パーツ領域検出プログラム220からパーツ領域とパーツ種別を受け取ると、パーツIDを付与してパーツDB215のパーツ種別62に格納する。また、パーツIDが付与されると、人物位置特定プログラム219からパーツ座標を受け取り、対応するパーツIDにパーツ座標64を記憶する。さらに、ベストショット判定プログラム221は、各パーツに対し、特徴量63を計算してパーツDB215に格納する。
また、ベストショット判定プログラム221は、各パーツに対してベストショット定義テーブル212に基づいて、パーツのスコアを計算して、パーツDB215にそのスコアを格納する。このように、ベストショット判定プログラム221は、一つの人物軌跡に対して、パーツID61、パーツ種別62、特徴量63等のパーツDB215を構成する情報を、映像のフレーム毎に取得し、パーツDB215に格納する。
尚、パーツDB215は、ベストショット判定プログラム221によって、映像のフレーム毎に各パーツの特徴量63やスコア66が格納されるが、同じパーツ種別の場合、スコアが高いエントリーのみを残して、低い方のエントリーを削除することで、パーツDB215に格納されている情報が常に各パーツのベストショットの情報とすることができ、パーツDB215の容量を削減することができる。
次に、人物軌跡が途切れたら(S1206)、カメラテーブル更新プログラム222で、パーツDB215に登録されたパーツID61の値をベストショットカメラテーブル213に登録する(S1207)。尚、同じカメラ内で、同じ人物が映像から消えたあとに、再度同じカメラに映ることがあるため、人物軌跡間の照合を定期的に実施し、同じ人物の人物軌跡が含まれていた場合は、それらの人物軌跡をマージする。同一人物の判定は、すでに述べた通り、パーツ毎の特徴量の類似度に基づいて判断する。
尚、同一人物の人物軌跡は、パーツ毎にスコアの比較を行い、スコアが高い方を当該パーツのベストショットパーツとして判定する。
次に、マージテーブル更新プログラム223で、ベストショットカメラテーブル213の更新イベントを受信し、更新された場合には、ベストショットカメラテーブルに登録された新しいベストショットパーツのスコアと、ベストショットマージテーブル214に登録されている過去のベストショットパーツのスコアを比較し、新しいパーツのスコアが大きい場合には、ベストショットマージテーブル214に登録されているベストショットパーツ(パーツIDの値)に更新する(S1208)。
次に、映像の入力が完了した場合には、処理を終了する。上記ステップS1201からステップS1207 の処理をすべてのカメラ11の映像に対して行うことで、異なる時間から取得したベストショットのパーツを人物軌跡ごと、即ち、人物軌跡ID毎に取得できるので、人物の見た目の特徴を示す特徴量を最大限取得できるという効果がある。
尚、上記ステップS1203からS1208の処理は、人物軌跡毎に実行し、人物軌跡毎に非同期で実行することで、第1の人物のベストショットパーツ取得中に、他の人物のベストショットパーツ取得がされないようにする。
<人物検索>
図13は、作業端末PC4に表示した映像に対して、指定した人物の映像検索処理の一例を示したものである。
まず、人物検索画面表示プログラム1162で、ディスプレイなどの表示部114にカメラ11のリアルタイム映像または映像解析PC3のフレーム画像DB216に保存されている映像を表示する(S1301)。ここでリアルタイム映像の表示は、指定されたカメラ11の映像を画面に並べて表示したり、事前に決めた順序でカメラ11を切り替えて表示したり、カメラ11の映像が確認できればよい。また、蓄積されている映像の表示に関しては、ユーザから時間やカメラIDの指定を受け、映像解析PC3に映像データの取得を要求することで、取得した映像を表示する。
図13は、作業端末PC4に表示した映像に対して、指定した人物の映像検索処理の一例を示したものである。
まず、人物検索画面表示プログラム1162で、ディスプレイなどの表示部114にカメラ11のリアルタイム映像または映像解析PC3のフレーム画像DB216に保存されている映像を表示する(S1301)。ここでリアルタイム映像の表示は、指定されたカメラ11の映像を画面に並べて表示したり、事前に決めた順序でカメラ11を切り替えて表示したり、カメラ11の映像が確認できればよい。また、蓄積されている映像の表示に関しては、ユーザから時間やカメラIDの指定を受け、映像解析PC3に映像データの取得を要求することで、取得した映像を表示する。
次に、人物検索画面表示プログラム1162は、キーボードやマウス等の入力部114により、検索したい人物の指定を受け、探したい人物を特定可能なカメラID、フレーム画像ID、日時、指定された座標等の情報を取得する(S1302)。例えば、矢印の部分がマウスのカーソルの位置を示し、マウスがクリックされた位置の人物が検索したい人物として特定される。尚、表示映像には、映像解析PCで検出された人物領域の部分に、人物領域を示す矩形等を重畳表示しても構わない。
次に、上記ステップS1302で取得した探したい人物を特定可能な情報を用いて、人物検索プログラム224で、ベストショットマージテーブル214から指定された人物のベストショットパーツの情報を取得し、ベストショットパーツ間の特徴量の比較を行い、人物軌跡間の類似度を算出することで、類似度の高い人物軌跡を同一人物として特定する人物検索を行う(S1303)。既にベストショットマージテーブル214で、選択されたフレーム画像に対応する人物軌跡が登録されている場合は、対応する人物軌跡IDを取得するのみで、同一人物の検索結果を取得できる。新規にアップロードされた映像をクエリとして検索する場合には、ベストショットパーツの処理の内容と同様に、映像からベストショットパーツを検出し、そのパーツの情報を用いて人物検索プログラムで同じ人物の人物軌跡をベストショットマージテーブルから特定する。尚、複数のフレーム画像がない画像で人物が指定された場合は、人物が指定された画像から検出したパーツを、そのままベストショットパーツとして使用する。
次に、人物検索画面表示プログラム1162は、人物検索をするステップS1303で取得した検索結果をディスプレイ等の表示装置に表示する(S1304)。検索結果の表示は、検索結果の人物軌跡が含まれるカメラの映像を並べて表示したり、該当人物の移動軌跡を2次元マップ上に表示したり、ベストショットパーツを軌跡毎に並べて表示したりするなど、人物の行動履歴が確認できれば、表示方法は問わない。
次に、表示対象の映像が終了した場合には、処理を終了する(S1305)。
<人物アラート>
図14は、作業端末PC4が受信したアラート対象の人物の最新情報を表示する処理の一例を示したフローチャートである。
まず、アラート画面表示プログラム1163は、X線検査装置12などの手荷物検査でアラート信号を受信し、手荷物外観カメラ13で撮影した荷物外観映像と共に、アラート内容を含む情報を受信する(S1401)。
図14は、作業端末PC4が受信したアラート対象の人物の最新情報を表示する処理の一例を示したフローチャートである。
まず、アラート画面表示プログラム1163は、X線検査装置12などの手荷物検査でアラート信号を受信し、手荷物外観カメラ13で撮影した荷物外観映像と共に、アラート内容を含む情報を受信する(S1401)。
次に、人物追跡プログラム218で、検査装置の手荷物受け取りエリアなど、事前に定義する荷物と人物が合流する位置の情報と、X線検査装置12のベルトコンベアの速度などの情報に基づき、上記荷物を受取った時点の鞄と手荷物の所有者である人物が含まれる人物領域を特定し、取得する(S1402)。
次に、アラート画面表示プログラム1163は、ベストショットパーツ取得の手順と同様に、上記人物の追跡を行い、人物軌跡におけるベストショットパーツを取得する(S1403)。
次に、同一カメラ内でのアラート対象人物の追跡が完了した場合、人物検索プログラム224で、他のカメラのアラート対象人物の有無を、上記人物検索の手順と同様に、ベストショットパーツ間の特徴量の比較により算出し、類似したベストショットパーツが多く含まれる、または類似度が高い軌跡の人物をアラート対象として特定することで、他のカメラによる人物追跡を行う(S1404)。アラート画面表示プログラム1163は、特定した人物が含まれる最新の映像が含まれるカメラ11のライブ映像を表示装置に表示させる(S1405)。
次に、すべてのカメラ11にアラート対象の人物の軌跡が一定時間ない場合は、追跡が完了したと判断し、追跡を終了する(S1406)。
以上の通り、カメラ11で撮影された人物の複数のパーツの情報に基づいて、人物検索を高精度に行うことができる。しかも、映像中において、各パーツの特徴を最も捉えているフレームにおける、各パーツの特徴量に基づいて、人物の検索、探索や追跡を行うことができる。
また、異なるカメラ間での人物追跡を精度よく行うことができる。
また、ベストショットパーツの情報を格納することで、鞄や衣類を指定して検索する際に、パーツ間で検索ができる。
また、ベストショットパーツの情報を格納することで、鞄や衣類を指定して検索する際に、パーツ間で検索ができる。
1:入力デバイス、2:ネットワーク、3:映像解析PC、4:作業端末PC、11:カメラ、12:X線手荷物検査装置、13:荷物外観カメラ、201:CPU、202:主メモリ、203:入力部、204:表示部、205:通信部、210:記憶部、212:ベストショット定義テーブル、213:ベストショットカメラテーブル、214:ベストショットマージテーブル、215:パーツDB、220:パーツ領域検出プロラム、221:ベストショット判定プログラム、222:カメラテーブル更新プログラム、223:マージテーブル更新プログラム、1162:人物検索画面表示プログラム、1163:アラート画面表示プログラム。
Claims (15)
- 複数のカメラを有する撮影装置に接続される映像解析装置であって、
前記映像解析装置は、
前記カメラに撮影された撮影された複数の人物に対し、
前記複数の人物の内の少なくとも一の人物を追跡し、
前記追跡された人物の複数のパーツを検出し、
前記検出された複数のパーツについて、パーツ毎のベストショットを決めるためのスコアを定義した情報に基づいて、前記パーツ毎のスコアを、前記カメラによる映像のフレーム毎に計算し、
前記フレーム毎に計算された各パーツのスコアを、前記パーツ毎に比較して、前記パーツ毎のベストショットを決定し、
前記パーツ毎に、当該パーツの特徴量を対応させて記憶し、
前記複数の人物の前記パーツ毎の特徴量を比較して、人物の同一性を判定する、ことを特徴とする映像解析装置。 - 請求項1記載の映像解析装置において、
前記映像解析装置は、前記人物の、頭部、顔、服装、鞄、靴、帽子、時計のうちの少なくとも二つの種別を前記複数のパーツとして検出する、ことを特徴とする映像解析装置。 - 請求項1記載の映像解析装置において、
前記映像解析装置は、前記複数のパーツのそれぞれについて、面積、正面度合、幾何学的特徴、輝度値、および、検出信頼度の項目を選択し、前記選択された項目毎に定義された項目スコアを用いて、前記パーツ毎のスコアを計算することを特徴とする映像解析装置。 - 請求項1記載の映像解析装置において、
前記映像解析装置は、記憶部を有し、
前記記憶部は、前記パーツ毎に、当該パーツの特徴量を対応させたパーツDBを記憶し、
前記パーツDBは、前記複数のパーツのうちの一つのパーツに対し、パーツの種別を表すパーツ種別と、当該パーツの特徴量、当該パーツのスコアとを、当該パーツのパーツIDに対応させて記憶するものであることを特徴とする映像解析装置。 - 請求項4記載の映像解析装置において、
前記記憶部は、
前記複数のカメラの内の一台のカメラで撮影された人物の一つの人物軌跡について、
前記人物軌跡に対応する人物軌跡IDと、前記人物軌跡の複数のパーツの前記パーツIDとを対応させたベストショットカメラテーブルを記憶することを特徴とする映像解析装置。 - 請求項5記載の映像解析装置において、
前記記憶部は、
前記複数のカメラで撮影された複数の人物の人物軌跡が同一の人物によるものである場合、各パーツでスコアの高いパーツIDを管理するベストショットマージテーブルと記憶することを特徴とする映像解析装置。 - 複数のカメラを有する撮影装置と映像解析装置とを有する人物検索システムであって、
前記映像解析装置は、
前記カメラに撮影された撮影された複数の人物に対し、
前記複数の人物の内の少なくとも一の人物を追跡し、
前記追跡された人物の複数のパーツを検出し、
前記検出された複数のパーツについて、パーツ毎のベストショットを決めるためのスコアを定義した情報に基づいて、前記パーツ毎のスコアを、前記カメラによる映像のフレーム毎に計算し、
前記フレーム毎に計算された各パーツのスコアを、前記パーツ毎に比較して、前記パーツ毎のベストショットを決定し、
前記パーツ毎に、当該パーツの特徴量を対応させて記憶部に記憶し、
前記複数の人物の前記パーツ毎の特徴量を比較して、人物の同一性を判定する、ことを特徴とする人物検索システム。 - 請求項7記載の人物検索システムにおいて、
前記映像解析装置に接続される作業端末を有し、
前記作業端末は、
前記撮影装置により撮影された映像を表示する表示部と、前記表示部に表示された映像から人物を特定するための情報が入力される入力部とを有し、
前記映像解析装置は、
前記作業端末の入力部により特定された人物の複数パーツの特徴量を計算し、
前記記憶部に格納されている、前記パーツ毎の特徴量を参照できるベストショットマージテーブルに基づいて、前記入力部により特定された人物の検索を行う、ことを特徴とする人物検索システム。 - 請求項7記載の人物検索システムにおいて、
前記映像解析装置は、手荷物検査装置からの映像から、手荷物の所有者が含まれる領域を特定し、前記特定された人物の人物軌跡を追跡し、前記追跡された人物軌跡のパーツ毎のベストショットを取得し、前記取得されたパーツ毎のベストショットの特徴量と、前記記憶部に記憶されているベストショットマージテーブルの対応するパーツDBに格納されたパーツ毎の特徴量とを比較し、前記手荷物の所有者と同一人物を検索することを特徴とする人物検索システム。 - 複数のカメラを有する撮影装置に接続される映像解析装置を用いて解析する人物検索方法であって、
前記映像解析装置は、
前記カメラに撮影された撮影された複数の人物に対し、
前記複数の人物の内の少なくとも一の人物を追跡し、
前記追跡された人物の複数のパーツを検出し、
前記検出された複数のパーツについて、パーツ毎のベストショットを決めるためのスコアを定義した情報に基づいて、前記パーツ毎のスコアを、前記カメラによる映像のフレーム毎に計算し、
前記パーツ毎のスコアを、前記パーツ毎に比較して、前記パーツ毎のベストショットを決定し、
前記パーツ毎に、当該パーツの特徴量を対応させて記憶部に記憶し、
前記複数の人物の前記パーツ毎の特徴量を比較して、人物の同一性を判定する、ことを特徴とする人物検索方法。 - 請求項10記載の人物検索方法において、
前記映像解析装置は、前記複数のパーツのそれぞれについて、面積、正面度合、幾何学的特徴、輝度値、および、検出信頼度の項目を選択し、前記選択された項目毎に定義された項目スコアを用いて、前記パーツ毎のスコアを計算することを特徴とする人物検索方法。 - 請求項11記載の人物検索方法において、
前記映像解析装置は、
前記複数のパーツのうちの一つのパーツに対し、パーツの種別を表すパーツ種別と、当該パーツの特徴量、当該パーツのスコアとを、当該パーツのパーツIDに対応させて記憶部に記憶させる、ことを特徴とする人物検索方法。 - 請求項12記載の人物検索方法において、
前記映像解析装置は、
前記複数のカメラで撮影された複数の人物の人物軌跡が同一人物によるものである場合、各パーツでスコアの高いパーツIDを選択し、前記同一人物の前記各パーツのベストショットとしてまとめたベストショットマージテーブルとして管理する、ことを特徴とする人物検索方法。 - 請求項10記載の人物検索方法において、
前記映像解析装置は、
前記撮影装置により撮影された映像を表示し、前記表示された映像から人物を特定するための情報が入力されると、前記特定された人物の複数パーツの特徴量を計算し、
前記記憶部に格納されている、前記パーツ毎の特徴量を参照できるベストショットマージテーブルに基づいて、前記特定された人物の検索を行うことを特徴とする人物検索方法。 - 請求項10記載の人物検索方法において、
前記映像解析装置は、手荷物検査装置からのアラート信号と手荷物映像に基づいて、手荷物の所有者が含まれる領域を特定し、前記所有者の人物軌跡を追跡し、前記追跡された人物軌跡のパーツ毎のベストショットを取得し、前記取得されたパーツ毎のベストショットの特徴量と、前記記憶部に記憶されているベストショットマージテーブルと対応するパーツDBに格納されたベストショットのパーツ毎の特徴量とを比較し、手荷物の所有者と同一人物を検索することを特徴とする人物検索方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP19837429.0A EP3800613A4 (en) | 2018-07-18 | 2019-06-11 | IMAGE ANALYSIS DEVICE, PAGERING SYSTEM AND PAGERING METHOD |
SG11202013000TA SG11202013000TA (en) | 2018-07-18 | 2019-06-11 | Video analysis apparatus, person retrieval system, and person retrieval method |
US17/253,842 US11367219B2 (en) | 2018-07-18 | 2019-06-11 | Video analysis apparatus, person retrieval system, and person retrieval method |
CN201980027442.6A CN112005272A (zh) | 2018-07-18 | 2019-06-11 | 影像分析装置、人物检索***和人物检索方法 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018134607A JP7039409B2 (ja) | 2018-07-18 | 2018-07-18 | 映像解析装置、人物検索システムおよび人物検索方法 |
JP2018-134607 | 2018-07-18 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2020017190A1 true WO2020017190A1 (ja) | 2020-01-23 |
Family
ID=69163878
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2019/023083 WO2020017190A1 (ja) | 2018-07-18 | 2019-06-11 | 映像解析装置、人物検索システムおよび人物検索方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US11367219B2 (ja) |
EP (1) | EP3800613A4 (ja) |
JP (1) | JP7039409B2 (ja) |
CN (1) | CN112005272A (ja) |
SG (1) | SG11202013000TA (ja) |
WO (1) | WO2020017190A1 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3879440A1 (en) * | 2020-03-10 | 2021-09-15 | Hitachi, Ltd. | Video analysis system and video analysis method |
WO2022030558A1 (ja) * | 2020-08-07 | 2022-02-10 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | 人物を検出または追跡する装置、システム、方法及びプログラム |
CN115761633A (zh) * | 2022-11-17 | 2023-03-07 | 深圳市阳光博睿教育技术有限公司 | 一种基于应用场景的监控预警方法 |
CN116110100A (zh) * | 2023-01-14 | 2023-05-12 | 深圳市大数据研究院 | 一种人脸识别方法、装置、计算机设备及存储介质 |
JP7424940B2 (ja) | 2020-08-07 | 2024-01-30 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | 人物追跡装置、人物追跡システム、人物追跡方法及び人物追跡プログラム |
JP7500335B2 (ja) | 2020-08-07 | 2024-06-17 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | 人物追跡装置、人物追跡システム、人物追跡方法及び人物追跡プログラム |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7249300B2 (ja) * | 2020-02-21 | 2023-03-30 | 株式会社日立製作所 | アラート出力装置、アラート出力方法、及びアラート出力プログラム |
JP7029486B2 (ja) * | 2020-04-10 | 2022-03-03 | 株式会社エクサウィザーズ | 情報処理装置、情報処理方法、及びプログラム |
JP7493995B2 (ja) | 2020-04-30 | 2024-06-03 | 日本信号株式会社 | 人物識別システム |
JP7479987B2 (ja) | 2020-08-07 | 2024-05-09 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | 情報処理装置、情報処理方法、及びプログラム |
CN112528850B (zh) * | 2020-12-11 | 2024-06-04 | 北京百度网讯科技有限公司 | 人体识别方法、装置、设备和存储介质 |
JP7439785B2 (ja) * | 2021-03-19 | 2024-02-28 | 株式会社デンソー | 認証システム及び追跡システム |
JP2022148811A (ja) * | 2021-03-24 | 2022-10-06 | 株式会社日立製作所 | 物体追跡システムおよび方法 |
CN114201643B (zh) * | 2022-02-18 | 2022-06-17 | 深圳市明源云科技有限公司 | 视频流渠道风控方法、设备及计算机可读存储介质 |
KR102617756B1 (ko) * | 2022-11-07 | 2023-12-28 | (주) 원모어시큐리티 | 속성 기반 실종자 추적 장치 및 방법 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007006324A (ja) | 2005-06-27 | 2007-01-11 | Matsushita Electric Ind Co Ltd | 監視記録装置及び監視記録方法 |
JP2011029737A (ja) * | 2009-07-22 | 2011-02-10 | Hitachi Kokusai Electric Inc | 監視映像検索装置及び監視システム |
WO2015045233A1 (ja) * | 2013-09-26 | 2015-04-02 | 日本電気株式会社 | 情報処理システム |
JP2015106300A (ja) * | 2013-11-29 | 2015-06-08 | キヤノン株式会社 | 画像検索装置、画像検索装置の制御方法およびプログラム |
JP2017041022A (ja) * | 2015-08-18 | 2017-02-23 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
US20170337426A1 (en) * | 2016-05-18 | 2017-11-23 | L-1 Identity Solutions Ag | Method for analyzing video data |
US20180018508A1 (en) * | 2015-01-29 | 2018-01-18 | Unifai Holdings Limited | Computer vision systems |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005227957A (ja) * | 2004-02-12 | 2005-08-25 | Mitsubishi Electric Corp | 最適顔画像記録装置及び最適顔画像記録方法 |
GB0502369D0 (en) * | 2005-02-04 | 2005-03-16 | British Telecomm | Classifying an object in a video frame |
JP2006254308A (ja) * | 2005-03-14 | 2006-09-21 | Matsushita Electric Ind Co Ltd | 映像記録装置及び映像記録方法 |
US20130030875A1 (en) | 2011-07-29 | 2013-01-31 | Panasonic Corporation | System and method for site abnormality recording and notification |
US9195883B2 (en) * | 2012-04-09 | 2015-11-24 | Avigilon Fortress Corporation | Object tracking and best shot detection system |
US9734681B2 (en) * | 2013-10-07 | 2017-08-15 | Ubiquiti Networks, Inc. | Cloud-based video monitoring |
JP5785667B1 (ja) * | 2015-02-23 | 2015-09-30 | 三菱電機マイコン機器ソフトウエア株式会社 | 人物特定システム |
CN106548263A (zh) * | 2015-09-21 | 2017-03-29 | 同方威视技术股份有限公司 | 一种智能安全检查***和方法 |
JP2018055607A (ja) | 2016-09-30 | 2018-04-05 | 富士通株式会社 | イベント検知プログラム、イベント検知装置、及びイベント検知方法 |
EP3312762B1 (en) * | 2016-10-18 | 2023-03-01 | Axis AB | Method and system for tracking an object in a defined area |
CN207689691U (zh) * | 2017-11-08 | 2018-08-03 | 中云智慧(北京)科技有限公司 | 一种行李通关查验*** |
-
2018
- 2018-07-18 JP JP2018134607A patent/JP7039409B2/ja active Active
-
2019
- 2019-06-11 EP EP19837429.0A patent/EP3800613A4/en active Pending
- 2019-06-11 CN CN201980027442.6A patent/CN112005272A/zh active Pending
- 2019-06-11 US US17/253,842 patent/US11367219B2/en active Active
- 2019-06-11 SG SG11202013000TA patent/SG11202013000TA/en unknown
- 2019-06-11 WO PCT/JP2019/023083 patent/WO2020017190A1/ja unknown
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007006324A (ja) | 2005-06-27 | 2007-01-11 | Matsushita Electric Ind Co Ltd | 監視記録装置及び監視記録方法 |
JP2011029737A (ja) * | 2009-07-22 | 2011-02-10 | Hitachi Kokusai Electric Inc | 監視映像検索装置及び監視システム |
WO2015045233A1 (ja) * | 2013-09-26 | 2015-04-02 | 日本電気株式会社 | 情報処理システム |
JP2015106300A (ja) * | 2013-11-29 | 2015-06-08 | キヤノン株式会社 | 画像検索装置、画像検索装置の制御方法およびプログラム |
US20180018508A1 (en) * | 2015-01-29 | 2018-01-18 | Unifai Holdings Limited | Computer vision systems |
JP2017041022A (ja) * | 2015-08-18 | 2017-02-23 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
US20170337426A1 (en) * | 2016-05-18 | 2017-11-23 | L-1 Identity Solutions Ag | Method for analyzing video data |
Non-Patent Citations (1)
Title |
---|
See also references of EP3800613A4 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3879440A1 (en) * | 2020-03-10 | 2021-09-15 | Hitachi, Ltd. | Video analysis system and video analysis method |
WO2022030558A1 (ja) * | 2020-08-07 | 2022-02-10 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | 人物を検出または追跡する装置、システム、方法及びプログラム |
JP7424940B2 (ja) | 2020-08-07 | 2024-01-30 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | 人物追跡装置、人物追跡システム、人物追跡方法及び人物追跡プログラム |
JP7500335B2 (ja) | 2020-08-07 | 2024-06-17 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | 人物追跡装置、人物追跡システム、人物追跡方法及び人物追跡プログラム |
CN115761633A (zh) * | 2022-11-17 | 2023-03-07 | 深圳市阳光博睿教育技术有限公司 | 一种基于应用场景的监控预警方法 |
CN115761633B (zh) * | 2022-11-17 | 2023-07-21 | 深圳市阳光博睿教育技术有限公司 | 一种基于应用场景的监控预警方法 |
CN116110100A (zh) * | 2023-01-14 | 2023-05-12 | 深圳市大数据研究院 | 一种人脸识别方法、装置、计算机设备及存储介质 |
CN116110100B (zh) * | 2023-01-14 | 2023-11-14 | 深圳市大数据研究院 | 一种人脸识别方法、装置、计算机设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112005272A (zh) | 2020-11-27 |
US20210264636A1 (en) | 2021-08-26 |
JP2020013290A (ja) | 2020-01-23 |
SG11202013000TA (en) | 2021-01-28 |
EP3800613A4 (en) | 2022-03-16 |
US11367219B2 (en) | 2022-06-21 |
EP3800613A1 (en) | 2021-04-07 |
JP7039409B2 (ja) | 2022-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2020017190A1 (ja) | 映像解析装置、人物検索システムおよび人物検索方法 | |
JP7317919B2 (ja) | 外観検索のシステムおよび方法 | |
JP7375101B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2022036143A (ja) | 物体追跡システム、物体追跡装置、および物体追跡方法 | |
JP6362674B2 (ja) | 映像監視支援装置、映像監視支援方法、およびプログラム | |
JP5077164B2 (ja) | 追跡装置及び追跡方法 | |
JP2017041022A (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP6362085B2 (ja) | 画像認識システム、画像認識方法およびプログラム | |
CN106529388A (zh) | 信息处理装置及其控制方法 | |
JP2019185205A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP2019096062A (ja) | 物体追跡装置、物体追跡方法、および、物体追跡プログラム | |
JP2011043863A (ja) | 対象領域判定・追跡装置、方法、プログラム及び対象領域判定装置 | |
JP2017194798A (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2017194796A (ja) | 情報処理装置、情報処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19837429 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2019837429 Country of ref document: EP Effective date: 20201229 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |