WO2015122163A1 - 映像処理システム - Google Patents

映像処理システム Download PDF

Info

Publication number
WO2015122163A1
WO2015122163A1 PCT/JP2015/000531 JP2015000531W WO2015122163A1 WO 2015122163 A1 WO2015122163 A1 WO 2015122163A1 JP 2015000531 W JP2015000531 W JP 2015000531W WO 2015122163 A1 WO2015122163 A1 WO 2015122163A1
Authority
WO
WIPO (PCT)
Prior art keywords
video data
information
node
object movement
movement information
Prior art date
Application number
PCT/JP2015/000531
Other languages
English (en)
French (fr)
Inventor
康史 平川
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2015562730A priority Critical patent/JP6194963B2/ja
Priority to US15/117,812 priority patent/US10389969B2/en
Publication of WO2015122163A1 publication Critical patent/WO2015122163A1/ja
Priority to US16/444,138 priority patent/US20190306455A1/en
Priority to US16/444,111 priority patent/US20190306454A1/en
Priority to US16/909,252 priority patent/US11665311B2/en
Priority to US18/127,966 priority patent/US20230239428A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/9201—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G06F16/784—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/786—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using motion, e.g. object motion or camera motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal

Definitions

  • the present invention relates to a video processing system, a video processing device, a video processing method, and a program.
  • a monitoring system for monitoring a predetermined monitoring target area using a monitoring camera is known.
  • the video acquired by the monitoring camera is stored in a storage device, and a desired video can be acquired and reproduced when necessary.
  • it is very inefficient to search for a desired video by playing all the videos and using human power.
  • Non-Patent Document 1 is known as a technique for searching a video in which an object performing a specific action is recorded from such a large amount of video.
  • the shape feature amount, motion feature amount, and background shape feature amount of an object are extracted and stored in a database, and three elements of the shape, motion, and background of a moving object are drawn with a handwritten sketch.
  • a technique for creating a query and performing a video search is described.
  • a vector obtained by averaging optical flows (OF) in the area of a moving object in each frame image is calculated, and continuous data obtained by collecting the vectors in each frame image is made into a database as a motion feature amount of the moving object. ing.
  • vector continuous data is extracted from a handwritten sketch drawn by a user and used as a motion feature amount of a query.
  • Non-Patent Document 1 By the way, in a surveillance system using a surveillance camera, an image of a person or the like who has moved from a specific area to another specific area regardless of the movement path in the area by dividing the monitoring target area into a plurality of predetermined areas. You may want to search for. When such a search is performed by the technique described in Non-Patent Document 1, it is necessary to input a large number of queries having different movement paths in the region. The reason is that, in Non-Patent Document 1, even if a video of a person or the like moving between the same plurality of regions, a video in which the movement route in the region is different from the movement route of the query is excluded from the search target. Because.
  • an object of the present invention is the above-described problem, that it is difficult to search for a video of a person or the like who has moved from a specific area to another specific area regardless of the movement route within the area.
  • An object of the present invention is to provide a video processing system that solves this problem.
  • a video processing system includes: A moving object moving between the plurality of node regions is detected from video data obtained by dividing the monitoring target area into a plurality of predetermined node regions and capturing the monitoring target area, and a node region where the detected moving object has moved is detected.
  • Object movement information acquisition means for acquiring, as object movement information, moving node area information indicating, and node area order information indicating the order of the node areas according to the movement of the moving object;
  • Object movement information / video data storage means for storing the object movement information acquired by the object movement information acquisition means in association with video data corresponding to the object movement information;
  • Search condition input means for inputting, as a search condition, the node area indicating the movement of the search object to be searched and the order of the node areas;
  • Video that is stored in association with the searched object movement information by searching the object movement information stored in the object movement information / video data storage means in accordance with the search conditions input by the search condition input means
  • Video data search means for outputting data.
  • the video processing apparatus which is the other form of this invention is the following.
  • a moving object moving between the plurality of node regions is detected from video data obtained by dividing the monitoring target area into a plurality of predetermined node regions and capturing the monitoring target area, and a node region where the detected moving object has moved is detected.
  • An object movement information acquisition unit for acquiring, as object movement information, moving node area information indicating, and node area order information indicating the order of the node areas according to the movement of the moving object;
  • An object movement information / video data storage unit that stores the object movement information acquired by the object movement information acquisition unit in association with video data corresponding to the object movement information;
  • a search condition input unit for inputting, as a search condition, the node area indicating the movement of the search object to be searched and the order of the node areas;
  • Video that is stored in association with the searched object movement information by searching the object movement information stored in the object movement information / video data storage unit according to the search condition input by the search condition input unit
  • a video data search unit for outputting data.
  • a video processing method includes: A moving object moving between the plurality of node regions is detected from video data obtained by dividing the monitoring target area into a plurality of predetermined node regions and capturing the monitoring target area, and a node region where the detected moving object has moved is detected.
  • Moving node area information to be displayed and node area order information indicating the order of the node areas according to the movement of the moving object are acquired as object movement information, and the object movement information is obtained as video data corresponding to the object movement information.
  • the nodal area indicating the movement of the search object to be searched and the order of the nodal areas are input as search conditions, the object movement information corresponding to the input search conditions is searched, and the search is performed
  • the video data stored in association with the object movement information is output.
  • the program which is the other form of this invention is: Video processing device A moving object moving between the plurality of node regions is detected from video data obtained by dividing the monitoring target area into a plurality of predetermined node regions and capturing the monitoring target area, and a node region where the detected moving object has moved is detected.
  • An object movement information acquisition unit for acquiring, as object movement information, moving node area information indicating, and node area order information indicating the order of the node areas according to the movement of the moving object;
  • An object movement information / video data storage unit that stores the object movement information acquired by the object movement information acquisition unit in association with video data corresponding to the object movement information;
  • a search condition input unit for inputting, as a search condition, the node area indicating the movement of the search object to be searched and the order of the node areas;
  • Video that is stored in association with the searched object movement information by searching the object movement information stored in the object movement information / video data storage unit according to the search condition input by the search condition input unit It functions as a video data search unit for outputting data.
  • the present invention has the above-described configuration, it is possible to search for an image of a person or the like who has moved from a specific area to another specific area regardless of the movement route in the area.
  • 1 is a block diagram of a video processing apparatus according to a first embodiment of the present invention. It is a flowchart which shows an example of operation
  • a video processing apparatus 1 stores a video acquired by an external device such as a surveillance camera, and selects a desired video from the stored video. It is a device that searches and outputs to an output device such as a monitor.
  • the video processing apparatus 1 includes an object movement information acquisition unit 11 (object movement information acquisition means) and a video data / metadata DB (DataBase) 12 (object movement information).
  • a video data storage unit includes a search condition input unit 13 (search condition input unit), and a metadata collation unit 14 (video data search unit).
  • the video processing device 1 is an information processing device including an arithmetic device and a storage device. The video processing device 1 realizes the above-described functions when the arithmetic device executes a program stored in the storage device.
  • the object movement information acquisition unit 11 has a function of acquiring object movement information including moving node area information and node area order information from video data received from an external device (video data acquisition means) such as a monitoring camera. Specifically, the object movement information acquisition unit 11 receives video data from an external device such as a surveillance camera. Subsequently, the object movement information acquisition unit 11 divides the monitoring target area in the image of the received video data into a plurality of predetermined node areas and detects a person (moving object) moving between the plurality of node areas. .
  • the node region is a plurality of predetermined regions that divide the monitoring target area, and is a region indicating a unit in which the actions of a person are collected.
  • the object movement information acquisition unit 11 divides the monitoring target area based on the definition of the nodal region stored in the nodal region range storage unit (not shown).
  • the range of the nodal region may be arbitrary, but for example, the nodal region range may be defined for each specific space such as a room or a corridor, or the range of the nodal region may be based on a person's behavior (for example, person traffic frequency). It may be possible to define The range of the node region may be appropriately changed based on the person's traffic frequency, the detected behavior tendency of the person, and the like. As will be described later, the user can search for metadata (object movement information) in node regions. Therefore, for example, by defining a node area in a room and a hallway, it becomes possible to search video data in units of rooms and hallways.
  • the detection of the moving person by the object movement information acquisition unit 11 can be performed using various existing techniques.
  • the object movement information acquisition unit 11 can detect a moving person by taking a difference between an image frame of video data and a background image acquired in advance. Further, the object movement information acquisition unit 11 can detect a person having the same pattern as the template by examining whether or not the same pattern as an image area called a template appears in the image frame. It is also conceivable to detect a moving object using a motion vector. Further, the moving object can be tracked by the Kalman filter or the particle filter. As described above, the detection of the moving person by the object movement information acquisition unit 11 can use various methods capable of detecting a person moving between a plurality of node regions.
  • the object movement information acquisition unit 11 detects a person moving in this way. Then, the object movement information acquisition unit 11 displays the movement node area information indicating the node area where the detected person has moved and the node area order information indicating the order of the node areas according to the detected movement of the person. Data).
  • the moving node area information is information indicating the node area where the detected person has moved.
  • the object movement information acquisition unit 11 divides the monitoring target area into a plurality of predetermined node regions. Therefore, the object movement information acquisition unit 11 detects the node area to which the detected person has moved, and acquires the detected node area as the movement node area information.
  • the movement node area information is acquired by the object movement information acquisition unit 11 by taking a movement trajectory of a person, associating the locus with the node area, sequentially acquiring a node area where a person appears in each image frame, and the like. It can be realized using various methods.
  • the node area order information is information indicating the order of the node areas according to the detected movement of the person. That is, the nodal region order information is information indicating the passing order of the nodal region through which the detected person has passed.
  • the node movement order information is acquired by the object movement information acquisition unit 11 in various ways, such as associating the movement trajectory of the person with the node area, and determining the passage order of the node area using the shooting time of each image frame. It can be realized using.
  • the object movement information acquisition unit 11 acquires information indicating the node area where the person has moved as the movement node area information.
  • the object movement information acquisition unit 11 acquires, in addition to the moving node area information, the passing order when the person moves in the node area indicated by the moving node area information as the node area order information.
  • the object movement information acquisition unit 11 obtains object movement information including moving node area information indicating a node area through which a person moving between a plurality of node areas passes and node area order information indicating the order of passage of the node areas. Can be acquired.
  • the object movement information acquisition unit 11 transmits the acquired object movement information to the video data / metadata DB 12.
  • the object movement information acquisition unit 11 When the object movement information acquisition unit 11 acquires the object movement information, the object movement information acquisition unit 11 indicates time information indicating the time when the detected person passes through the node area (the time when the person appears in the node area or the time when the person appears from the node area) You may comprise so that the location information which shows the location of a node area
  • the object movement information acquisition unit 11 acquires time information and location information, the acquired time information and location information are transmitted to the video data / metadata DB 12 together with (or included in the object movement information). Will be.
  • the location information may be included in the mobile node area information.
  • the object movement information acquisition unit 11 associates the object movement information with the video data corresponding to the object movement information so as to be able to search the image movement data according to the object movement information from the object movement information.
  • Object movement information will be constructed (as possible).
  • the object movement information acquisition unit 11 adds information for identifying the video data from which the object movement information is acquired to the object movement information.
  • the object movement information acquisition unit 11 adds, for example, the movement start time and the movement end time of the detected person to the object movement information.
  • the object movement information can be stored in association with video data corresponding to the object movement information, as will be described later.
  • video data corresponding to the searched object movement information can be output to the output device.
  • the video data corresponding to the object movement information is video data showing a person moving between the nodal regions indicated by the object movement information.
  • the video data obtained by the object movement information acquisition unit 11 has acquired the object movement information. That is.
  • the object movement information acquisition unit 11 can be configured to transmit video data acquired from the outside such as a monitoring camera to the video data / metadata DB 12.
  • the video processing apparatus 1 may be configured to transmit video data acquired from the outside to the video data / metadata DB 12 without going through the object movement information acquisition unit 11.
  • the video data / metadata DB 12 is composed of a storage device such as a hard disk or RAM (Random Access Memory), and stores various data.
  • the data stored in the video data / metadata DB 12 is object movement information and video data.
  • the video data / metadata DB 12 stores object movement information in association with video data corresponding to the object movement information.
  • the video data / metadata DB 12 receives video data received from the outside such as a monitoring camera by a method such as receiving video data transmitted by the object movement information acquisition unit 11.
  • the video data / metadata DB 12 stores the received video data.
  • the video data / metadata DB 12 acquires the object movement information transmitted by the object movement information acquisition unit 11.
  • the video data / metadata DB 12 stores object movement information in association with video data corresponding to the object movement information. Thereby, the video data / metadata DB 12 stores the video data and the object movement information associated with the video data.
  • the video data / metadata DB 12 transmits the stored object movement information and video data to the metadata verification unit 14 and the output device in response to a request from the metadata verification unit 14. Details of retrieval of object movement information stored in the video data / metadata DB 12 by the metadata collation unit 14 will be described later.
  • the object movement information acquisition unit 11 is configured to transmit time information and location information, the time information and location information are stored together with the object movement information.
  • the search condition input unit 13 has a function of inputting a node area and the order of the node areas as a search condition.
  • the search condition input unit 13 includes an input device such as a touch panel or a keyboard, and is configured to be able to input a search condition by operating the input device.
  • the search condition input by the search condition input unit 13 is performed, for example, by selecting a node area displayed on the screen with a mouse. At this time, the selected node region and the selection order of the node regions become search conditions.
  • the search condition input by the search condition input unit 13 is performed, for example, by drawing a trajectory of a person to be searched on a screen with a node area as a background.
  • the search condition input unit 13 transmits the input search condition to the metadata collation unit 14. Then, the metadata collation unit 14 searches for object movement information based on the search condition.
  • the metadata collation unit 14 has a function of retrieving object movement information (metadata) stored in the video data / metadata DB 12 based on the search condition received from the search condition input unit 13.
  • the metadata collation unit 14 receives a search condition including a node area and the order of the node areas from the search condition input unit 13. Subsequently, the metadata collation unit 14 searches the object movement information stored in the video data / metadata DB 12 using the received search condition.
  • the metadata collation unit 14 can be configured to search only the same object movement information (same node region, same order) as the search condition from the video data / metadata DB 12.
  • the metadata collation unit 14 can be configured to retrieve object movement information that is the same as or similar to the search condition from the video data / metadata DB 12, for example.
  • the similarity between the search condition and the object movement information is, for example, the degree of separation (distance) between the arrangement of the node areas indicated by the search condition (the order of the node areas and the relevant node area) and the arrangement of the node areas indicated by the object movement information. Can be determined by calculating. In addition to the above-described method, it is determined whether the search condition and the object movement information are similar by using various general criteria for determining similarity.
  • the metadata collating unit 14 can be configured.
  • the metadata collation unit 14 has a function of transmitting video data stored in association with the searched object movement information to an output device such as a monitor. That is, the metadata collation unit 14 receives the video data stored in association with the object movement information retrieved from the video data / metadata DB 12 and transmits it to an output device such as a monitor.
  • the above is the configuration of the video processing apparatus 1.
  • the video processing apparatus 1 By providing the video processing apparatus 1 with the above-described configuration, it is possible to search for videos in which a person moving in a desired order in a desired node area is searched from videos stored in the video processing apparatus 1. That is, it is possible to search for a video of a person or the like who has moved from a specific area to another specific area regardless of the movement path in the area (in each node area).
  • the operation of the video processing apparatus 1 according to the present embodiment will be described.
  • object movement information (metadata) is acquired from video data acquired from the outside such as a monitoring camera and the object movement information and video data are stored will be described.
  • the object movement information acquisition unit 11 of the image processing apparatus 1 acquires image data from a monitoring camera or the like, the object movement information acquisition unit 11 starts executing the processing shown in FIG.
  • the object movement information acquisition unit 11 divides the monitoring target area in the image of the received video data into a plurality of predetermined node areas and detects a person (moving object) moving between the plurality of node areas (step S101). ).
  • the object movement information acquisition unit 11 displays the movement node area information indicating the node area where the detected person has moved and the node area order information indicating the order of the node areas according to the detected movement of the person. Metadata)) (step S102).
  • the object movement information acquisition unit 11 transmits the acquired object movement information to the video data / metadata DB 12. Further, the object movement information acquisition unit 11 transmits the video data to the video data / metadata DB 12. Thereafter, the video data / metadata DB 12 receives the object movement information and the video data transmitted by the object movement information acquisition unit 11. Then, the video data / metadata DB 12 stores the object movement information in association with video data corresponding to the object movement information (step S103).
  • the video processing apparatus 1 stores the node area to which the person has moved and the order of the node area as metadata (object movement information).
  • the metadata is stored in association with the corresponding video data.
  • the nodal region indicating the movement of the search object to be searched and the order of the nodal regions are input to the search condition input unit 13 (step S201). Then, the search condition input unit 13 to which the search condition has been input transmits the search condition to the metadata collation unit 14.
  • the metadata collation unit 14 receives the search condition transmitted by the search condition input unit 13. Then, the metadata matching unit 14 searches the object movement information that is the same (or the same / similar) as the search condition from the object movement information stored in the video data / metadata DB 12 using the received search condition (Ste S202). Thereafter, the metadata collation unit 14 acquires video data stored in association with the searched object movement information, and outputs the acquired video data to an output device such as a monitor (step S203).
  • the video processing apparatus 1 can output video data showing a person moving in a desired order in a desired node area from the video data stored in the video processing apparatus 1.
  • the video processing apparatus 1 includes the object movement information acquisition unit 11 and the video data / metadata DB 12.
  • the object movement information acquisition unit 11 of the video processing device 1 detects a person who moves a plurality of node areas from video data acquired from the outside, and an object composed of movement node area information and node area order information. Get movement information.
  • the video data / metadata DB 12 stores object movement information and video data. That is, the video processing apparatus 1 can store metadata (object movement information) indicating the node area to which the person in the video data has moved and the order of the node area.
  • the video processing apparatus 1 according to the present embodiment includes a search condition input unit 13 and a metadata collation unit 14.
  • a search condition consisting of a node region and the order of the node regions is input to the search condition input unit 13, and the metadata (object movement information) stored in the video data / metadata DB 12 from the search condition is input.
  • the metadata collation unit 14 can perform the search. As a result, it is possible to search for an image of a person or the like who has moved from a specific area to another specific area regardless of the movement route within the area.
  • the object movement information acquisition unit 11 moves the node region and the node region in the order of the route a and the route b, that is, the meta data that the node regions C, D, and B are moved in the order C ⁇ D ⁇ B.
  • Data object movement information
  • the node area and the order of the node areas are input by the search condition input unit 13 and searched by the metadata matching unit 14.
  • the video processing apparatus 1 includes the video data / metadata DB 12.
  • the video processing apparatus 1 may be configured to store video data and metadata (object movement information) in different places.
  • the moving person is detected after dividing the monitoring target area in the image of the video data into a plurality of node regions.
  • the video processing apparatus 1 may be configured to detect the moving person before dividing the monitoring target area into a plurality of node regions.
  • the video processing device 1 is configured to include information indicating the predetermined state (for example, trajectory state information) in the object movement information when the detected person is in a predetermined state.
  • the predetermined state defined in advance refers to a predetermined state such as wandering or moving at high speed.
  • the object movement information acquisition unit 11 of the video processing device 1 determines that the detected person is in a wandering state, for example, when the detected person is in a predetermined state such as reciprocating within the same node region many times.
  • information indicating the state of wandering is added to the object movement information.
  • the predetermined state is not limited to the case of wandering or moving at high speed.
  • various states can be included in the object movement information, such as associating object movement information respectively acquired from the plurality of persons.
  • the video processing device 1 the object movement information acquisition unit 11
  • the video processing device 1 can be configured to determine whether or not a person is in a predetermined state for each node region.
  • one video processing apparatus 1 includes two means: a video data storage unit that acquires and stores object movement information from video data, and a video data search unit that searches video data. It was.
  • the present invention is not limited to the case where the video processing apparatus 1 has such a configuration.
  • the present invention can be realized by including two information processing apparatuses, an information processing apparatus including a video data storage unit and an information processing apparatus including a video data search unit.
  • the information processing apparatus including the video data search unit acquires the search using, for example, the node region information of a plurality of node regions obtained by dividing the monitoring target area and the order information in which the mobile body passes through the node region as a search condition
  • a video data search unit that searches for video data of a moving body that matches the conditions and a video data output unit that outputs the video data acquired by the video data search unit are provided.
  • the present invention may be realized by a plurality of information processing apparatuses.
  • the timing for acquiring the object movement information from the video data received from an external device may be at an arbitrary timing.
  • the object movement information acquisition unit 11 can acquire the object movement information at the timing when the video data is acquired. Acquisition of the object movement information may be performed, for example, at a timing when a search condition is input.
  • the video processing apparatus 2 stores videos taken by a plurality of surveillance cameras, and selects a desired one from the stored videos.
  • This is a device that retrieves the video group and outputs it to an output device such as a monitor.
  • an output device such as a monitor.
  • a case will be described in which the entire imaging range of each of the plurality of monitoring cameras forms one nodal region.
  • the case of acquiring object movement information with the predetermined state added will be described in more detail.
  • a video processing apparatus 2 includes a trajectory information acquisition unit 3 (trajectory information acquisition unit), an object movement information acquisition unit 4, a metadata storage unit 5, A search condition input unit 6, a metadata collation unit 7, and a video data storage unit 8 are included.
  • the object movement information acquisition unit 4 includes a nodal region / route definition processing unit 41 and a trajectory information / nodal region association unit 42.
  • the search condition input unit 6 includes a query input unit 61 and a gesture recognition unit 62.
  • the video processing device 2 is an information processing device including an arithmetic device and a storage device. The video processing device 2 realizes the above functions by the arithmetic device executing a program stored in the storage device.
  • the trajectory information acquisition unit 3 has a function of acquiring a plurality of video data from the outside and detecting a trajectory of a person moving between the plurality of video data.
  • the trajectory information acquisition unit 3 includes a video data reception unit 31 and a trajectory information detection unit 32.
  • the video data receiving unit 31 has a function of receiving video data from an external device such as a monitoring camera. As shown in FIG. 9, in this embodiment, a plurality of monitoring cameras are installed at predetermined positions, and the plurality of monitoring cameras are connected to the video data receiving unit 31 via an external network. Therefore, the video data receiving unit 31 acquires videos taken by a plurality of surveillance cameras installed at predetermined positions via an external network. Then, the video data receiving unit 31 transmits a plurality of pieces of video data to the trajectory information detection unit 32 after performing preprocessing necessary for the trajectory information detection unit 32 to detect the trajectory information.
  • an external device such as a monitoring camera.
  • a plurality of monitoring cameras are installed at predetermined positions, and the plurality of monitoring cameras are connected to the video data receiving unit 31 via an external network. Therefore, the video data receiving unit 31 acquires videos taken by a plurality of surveillance cameras installed at predetermined positions via an external network. Then, the video data receiving unit 31 transmits a plurality of pieces of video data to the trajectory information detection unit 32 after performing
  • the video data receiving unit 31 has a function of transmitting the received video data to the video data storage unit 8.
  • the video data transmitted to the video data storage unit 8 is used when the video data is output to the output device.
  • the trajectory information detection unit 32 has a function of detecting a person who moves between video data at a plurality of points taken by monitoring cameras installed at a plurality of points, and detecting a trajectory of the detected person. As described above, in this embodiment, the entire video image captured by one surveillance camera is determined as one node region. Therefore, the trajectory information detection unit 32 detects a person who moves between the plurality of node regions, and detects a locus of the person who moves between the plurality of node regions.
  • the trajectory information detection unit 32 receives the video data transmitted by the video data reception unit 31. Alternatively, the trajectory information detection unit 32 acquires video data stored in the video data storage unit 8. Then, the trajectory information detection unit 32 uses the video data received from the video data reception unit 31 or the video data acquired from the video data storage unit 8 to detect a person who moves between video data at a plurality of points.
  • the trajectory information detection unit 32 acquires video data A, video data a, and video data B.
  • the trajectory information detection unit 32 detects the same person who moves the video data A, the video data a, and the video data B.
  • detection of a person who moves between a plurality of video data can be performed using various techniques. For example, it is conceivable to use a method of recognizing a person's face, detecting a person who can obtain the same data as the same person, or recognizing the same person by clothes recognition. That is, the trajectory information detection unit 32, when a person recognized as the same face or clothes appears in each of the video data A, the video data a, and the video data B, the video data A, the video data a, and the video.
  • Persons recognized as the same face and clothes appearing in each of the data B are recognized as the same person.
  • a general elapsed time appearing in another video after passing a video is determined in advance, and a method of recognizing the same person when a person who satisfies the predetermined elapsed time is detected is used. It is also possible. In addition, various general methods may be used.
  • the trajectory information detection unit 32 detects the trajectory of the person who moves between the plurality of video data detected by the above method as trajectory information. Detection of a person's trajectory by the trajectory information detection unit 32 can also be performed using various techniques. For example, a method may be considered in which the same person is extracted from several image frames of a plurality of video data, and the extracted persons are connected by lines. Various other general methods may be used.
  • the trajectory information detection unit 32 detects a person who moves between a plurality of video data, and detects the trajectory of the person who moves between the plurality of video data as trajectory information. Then, the trajectory information detection unit 32 transmits the detected trajectory information to the trajectory information / node region association unit 42.
  • the trajectory information detection unit 32 is not limited to the above case, for example, acquires four pieces of video data and detects a person moving between the two pieces of video data, and acquires a plurality of pieces of video data. A person moving between data can be detected.
  • the trajectory information includes information for identifying video data in which the trajectory information is detected.
  • the trajectory information can be configured to include information for recognizing a portion in which a person moving in a node area indicated by the trajectory information is shown in each of a plurality of video data.
  • the trajectory information includes time information indicating the time when a person passes each point of the trajectory indicated by the trajectory information (for example, the movement start point and the movement end point of each node area), and the shooting location of each video data obtained from the trajectory information. It may be configured to include location information (indicating the location of the node region).
  • the object movement information acquisition unit 4 has a function of acquiring object movement information composed of moving node area information and node area order information using trajectory information. As described above, the object movement information acquisition unit 4 includes the nodal region / route definition processing unit 41 and the trajectory information / nodal region association unit 42.
  • the nodal region / route definition processing unit 41 has a function of generating nodal region route information defining the nodal region and route information indicating the connection between the nodal regions. That is, the node region / route definition processing unit 41 generates node region route information including a node region that divides a plurality of video data and route information indicating a connection between the node regions. Then, the node region / route definition processing unit 41 transmits the generated node region route information to the trajectory information / node region association unit 42 and the search condition input unit 6.
  • the node area route information may be determined in advance. As described above, in the present embodiment, the node region / path definition processing unit 41 defines that the entire imaging range of each of the plurality of monitoring cameras is one node region. In addition, the connection between places where each of the surveillance cameras captures is defined as route information.
  • the trajectory information / nodal region association unit 42 has a function of acquiring object movement information using trajectory information and nodal region route information. That is, the trajectory information / nodal region association unit 42 associates the trajectory information with the nodal region path information, thereby moving node information corresponding to the nodal region to which the person indicated by the trajectory has moved and the node corresponding to the movement of the person.
  • the node region order information indicating the region order is acquired as the object movement information.
  • the entire imaging range of each of the plurality of surveillance cameras is defined as one nodal region. Therefore, for example, referring to FIG.
  • the trajectory information / node region association unit 42 passes through the node region A, the node region a, and the node region B in the order of the node region A ⁇ the node region a ⁇ the node region B.
  • Object movement information corresponding to the imaging range of the video data is acquired.
  • the trajectory information / nodal region association unit 42 has a function of determining whether or not the state of the trajectory in each nodal region is a predetermined state. That is, the trajectory information / nodal region association unit 42 determines whether the trajectory in each nodal region is in a predetermined state after associating the trajectory information with the nodal region path information. It will be.
  • the predetermined state defined in advance refers to a predetermined state such as wandering or moving at high speed.
  • the state of the trajectory indicated by the trajectory information in the nodal region is a state in which the reciprocating action has been performed more than a predetermined number of times within a certain nodal region for a predetermined time period
  • the trajectory information / node region association unit 42 determines that the person is in a wandering state. Then, the trajectory information / nodal region association unit 42 acquires object movement information to which information (trajectory state information) that the trajectory of the nodal region A is in a wandering state is added.
  • the trajectory information / nodal region association unit 42 is in a state of high-speed movement when, for example, the trajectory indicated by the trajectory state in a certain nodal region is in a state of passing through the nodal region at high speed.
  • Information that there is can be added to the object movement information.
  • the trajectory information / nodal region association unit 42 can determine whether or not the trajectory (person movement) in the nodal region is high speed by using, for example, the nodal region, the trajectory information, and the time information. Is possible.
  • the trajectory information / nodal area association unit 42 can associate trajectory information indicating the plurality of loci. That is, the trajectory information / nodal region association unit 42 can add information associating trajectory information indicating the trajectory existing in the same nodal region at the same time to the corresponding object movement information. In addition, the trajectory information / node region association unit 42 can add information including the states of the trajectories to the object movement information. For example, referring to FIG. 11, it can be seen that a plurality of persons are gathering and moving.
  • the trajectory information / node region association unit 42 sets information (trajectory state information) indicating that the trajectories of a plurality of persons are in a state of moving together when the trajectories of a plurality of persons are within a predetermined distance. This is added to the object movement information. Further, for example, referring to FIG. 12, it can be seen that a plurality of persons are moving separately in the node region A. Accordingly, the trajectory information / nodal region association unit 42 is in a state of moving separately within the nodal region A when the trajectories of a plurality of persons in the nodal region A are separated by a predetermined distance or more. (Trajectory state information) is added to each object movement information.
  • trajectory information / nodal region association unit 42 can add information including the direction of the trajectory to the object movement information.
  • information including the direction of the trajectory to the object movement information.
  • the present invention can add various trajectory states to the object movement information in addition to the above description.
  • the trajectory information / nodal region association unit 42 adds the trajectory state information indicating the predetermined state of the trajectory when the trajectory is in a predetermined state, instead of the trajectory itself in each nodal region. Get information.
  • the trajectory information / nodal region association unit 42 summarizes the determination of whether the trajectory is in a predetermined state for each nodal region.
  • the object movement information includes information for identifying a plurality of pieces of video data included in the trajectory information from which the object movement information is acquired.
  • the object movement information may include time information and location information.
  • the trajectory information / nodal region association unit 42 acquires object movement information (metadata) using the trajectory information and the nodal region route information. Then, the trajectory information / node area association unit 42 transmits the trajectory information and the object movement information to the metadata storage unit 5.
  • the trajectory information / nodal region association unit 42 may be configured to transmit only the object movement information to the metadata storage unit 5.
  • the metadata storage unit 5 is composed of a storage device such as a hard disk or RAM (Random Access Memory), and stores trajectory information and object movement information. That is, the metadata accumulating unit 5 receives the trajectory information and the object movement information transmitted from the trajectory information / node region association unit 42. The metadata storage unit 5 stores the received trajectory information and object movement information. Thereafter, the metadata storage unit 5 transmits the object movement information (metadata) to be stored in response to a request from the metadata collation unit 7 described later. When the trajectory information / node region association unit 42 is configured to transmit only the object movement information, the metadata storage unit 5 stores only the object movement information.
  • a storage device such as a hard disk or RAM (Random Access Memory)
  • the search condition input unit 6 has a function of inputting a node area and the order of the node areas as a search condition. As described above, the search condition input unit 6 includes the query input unit 61 and the gesture recognition unit 62.
  • the query input unit 61 has a function of inputting a query for searching for object movement information (metadata) stored in the metadata storage unit 5 and generating query information based on the query.
  • the query input unit 61 in the present embodiment includes a touch panel, and a query is input by performing line drawing on the background corresponding to the node area displayed on the touch panel.
  • the query information indicates the input of a line or continuous points.
  • a touch panel is used for line input, but various other devices that can express a line such as a mouse can be used. Then, as will be described later, the input line, the direction in which the line is drawn, how many strokes the combined line is written, and how many lines are drawn together are combined into query information.
  • the input of the query information by the query input unit 61 is performed by drawing a line on the background corresponding to the node area displayed on the touch panel, for example, as described above. That is, a range or the like (node area) in which query information is to be input (searched) is selected as the background. Then, line drawing is performed in the selected range (or drawing is performed on a part of the displayed background). At this time, the trajectory state information is input by performing a predetermined operation. The trajectory state information is determined for each node area. Therefore, necessary trajectory state information is input to the query input unit 61 for each node region.
  • FIG. 13 ⁇ shows an operation when inputting trajectory state information that a person is in a wandering state.
  • FIG. 13 ⁇ shows an operation when inputting trajectory state information indicating that the person is moving at high speed.
  • FIG. 13 ⁇ shows an operation when inputting trajectory state information indicating that a plurality of persons are moving together.
  • FIG. 13 ⁇ shows an operation when inputting trajectory state information indicating that a plurality of persons move by separating the node area A and moving by moving the node areas a and B together.
  • FIG. 13 ⁇ shows an operation when inputting trajectory state information indicating that there is a person running backward.
  • trajectory state information that the person is in a wandering state when inputting the trajectory state information that the person is in a wandering state, for example, it is drawn several times around the circle. By inputting in this way, as will be described later, it is possible to input trajectory state information that a person is wandering in a node area (a node area A in the case of FIG. 13 ⁇ ) including a portion drawn with a circle several times. I can do it. Further, as shown in FIG. 13 ⁇ , when the trajectory state information indicating that the person is moving at high speed is input, for example, a circle is drawn once.
  • trajectory state information indicating that a person is moving at high speed in a node region including a portion in which a circle is drawn once node region A in the case of FIG. 13 ⁇ .
  • FIG. 13 ⁇ by drawing a plurality of lines close to each other, it is possible to input trajectory state information indicating that a plurality of persons are in a state of moving together.
  • FIG. 13 ⁇ when drawing a plurality of lines as shown in FIG. 13 ⁇ , a space drawn between the lines is set at a predetermined interval or more so that a portion drawn at a predetermined interval or more is drawn. It is possible to input trajectory state information indicating that the node region including the node region is moving. Further, as shown in FIG. 13 ⁇ , by drawing a line in the opposite direction, it is possible to input trajectory state information indicating that there is a person running backward.
  • the direction of the query input to the query input unit 61 is determined according to each order.
  • the above queries can be combined. For example, referring to FIG. 14, it is possible to draw a state in which a person running backward is moving at high speed.
  • the AND condition and the OR condition properly by separating the one-stroke writing and the two-stroke writing or more.
  • a query is input with a single stroke, a state in which the node area A is moved at a high speed and the node area B is moved at a high speed is drawn.
  • a query is input with two strokes, a state in which the node area A is moved at high speed or the node area B is moved at high speed is drawn.
  • Other examples of the expression of the AND condition and the OR condition may be written with three or more strokes, or a plurality of strokes may be written to draw a plurality of queries.
  • this invention is not limited to when inputting locus
  • various methods can be used such as selecting desired trajectory state information from a menu displayed by stopping drawing for a predetermined time during line drawing.
  • the query input unit 61 to which the query information is input by the above method transmits the query information to the gesture recognition unit 62.
  • the gesture recognition unit 62 associates the query information received from the query input unit 61 with the node region path information received from the node region / path definition processing unit 41, thereby causing trajectory state information (gestures) expressed by the query for each node region. ).
  • the gesture recognizing unit 62 has a function of acquiring the passage of the query (which is a search condition) and the order of the clause regions by associating the query information with the clause region path information.
  • the gesture recognizing unit 62 uses the query information and the nodal region path information, and acquires the gesture information indicating the trajectory state information (gesture) for each nodal region and the order of the nodal region and the nodal region as a search condition. . Then, the gesture recognition unit 62 transmits the acquired search condition to the metadata collation unit 7.
  • the gesture recognition unit 62 can have a function of feeding back the gesture recognized by the gesture recognition unit 62.
  • the gesture recognition unit 62 can display symbols and symbols associated with each preset gesture on the query input unit 61 having a display function. For example, when the input and the output are the same as shown in FIG. 16 (for example, when the background and the drawn line are displayed on the touch panel), the gesture recognition is performed for the line drawn by the user (which becomes the query information).
  • a symbol indicating wandering is displayed on the touch panel.
  • the metadata collation unit 7 has a function of retrieving object movement information (metadata) stored in the metadata storage unit 5 based on the search condition received from the search condition input unit 6. Further, the metadata collation unit 7 can have a function of acquiring video data related to the searched object movement information from the video data storage unit 8 and outputting the search result to an output device such as a monitor.
  • the metadata collation unit 7 receives the search condition from the search condition input unit 6. Then, the metadata matching unit 7 searches for the object movement information stored in the metadata storage unit 5 using the received search condition. Thereafter, the metadata matching unit 7 acquires video data (video data showing a person indicated by the object movement information) related to the searched object movement information from the video data storage unit 8, and monitors the acquired video data. To the output device.
  • the metadata collation unit 7 can be configured to retrieve from the metadata storage unit 5 only the object movement information identical to the search condition. Further, the metadata collation unit 7 may be configured to retrieve from the metadata storage unit 5 object movement information that is the same / similar to the search condition, for example.
  • the metadata matching unit 7 may be configured to make a similar determination in consideration of the trajectory state information.
  • the video data storage unit 8 includes a storage device such as a hard disk or a RAM (Random Access Memory), and stores video data. That is, the video data storage unit 8 receives the video data transmitted from the video data receiving unit 31. Then, the video data storage unit 8 stores the received video data. Thereafter, the video data storage unit 8 transmits video data corresponding to the object movement information to the output device in response to a request from the metadata collation unit 7 described later.
  • a storage device such as a hard disk or a RAM (Random Access Memory)
  • the above is the configuration of the video processing device 2.
  • the video processing apparatus 2 By providing the video processing apparatus 2 with the above-described configuration, it is possible to search for a video in which a person moving in a desired order in a desired node area is displayed from the stored video. Next, the operation of the video processing apparatus 2 according to the present embodiment will be described.
  • object movement information (metadata) is acquired from video data acquired from the outside such as a monitoring camera and the object movement information and video data are stored will be described.
  • the video data receiving unit 31 of the video processing apparatus 2 receives video data from a plurality of surveillance cameras installed at predetermined external locations via the external network, execution of the processing shown in FIG. 17 is started.
  • the video data receiving unit 31 transmits the received video data of a plurality of points to the trajectory information detecting unit 32.
  • the trajectory information detection unit 32 detects a person who moves between video data at a plurality of points, and detects the trajectory of the detected person.
  • the trajectory information detection unit 32 detects trajectory information indicating the trajectory of the person who moves the video data at a plurality of points (step S301).
  • the trajectory information detection unit 32 transmits the detected trajectory information to the trajectory information / node region association unit 42. Further, the nodal region / route information defined by the nodal region / route definition processing unit 41 is transmitted to the trajectory information / nodal region association unit 42. Therefore, the trajectory information / nodal region association unit 42 associates the trajectory information with the nodal region route information to acquire object movement information (metadata) (step S302).
  • the object movement information includes the node area, the order of the node areas, and the trajectory state information for each node area.
  • the trajectory information / node region association unit 42 transmits the object movement information to the metadata storage unit 5. Thereafter, the metadata storage unit 5 stores the object movement information as metadata (step S303).
  • the video processing apparatus 2 stores the node area where the person has moved, the order of the node area, and the trajectory state information for each node area as metadata (object movement information).
  • the metadata is stored in association with the corresponding video data.
  • the query information is input to the query input unit 61 of the search condition input unit 6 (step S401). Subsequently, the query input unit 61 transmits the input query information to the gesture recognition unit 62.
  • the gesture recognition unit 62 receives the query information.
  • the gesture recognition unit 62 receives the node region route information from the node region / route definition processing unit 41. Therefore, the gesture recognition unit 62 reads a predetermined figure from the input query information and recognizes a gesture included in the query information (step S402).
  • the gesture recognition unit 62 associates the recognized gesture with the node region path information, and acquires gesture information for each node region (step S403).
  • the gesture recognizing unit 62 associates the query information with the node region path information, and acquires the node region through which the query passes (becomes a search condition) and the order of the node regions.
  • the gesture recognition unit 62 acquires a search condition including the node area, the order of the node area, and the gesture information indicating the gesture (object movement information) for each node area (step S404). Then, the gesture recognition unit 62 transmits the acquired search condition to the metadata collation unit 7. The acquisition of the node area and the order of the node areas by the gesture recognition unit 62 may be performed before the gesture information is acquired.
  • the metadata collation unit 7 receives the search condition transmitted by the gesture recognition unit 62. Then, the metadata matching unit 7 searches for object movement information that is the same as or similar to the search condition from the object movement information stored in the metadata storage unit 5 (step S405). Then, the metadata collation unit 14 acquires video data corresponding to the searched object movement information from the video data storage unit 8, and outputs the acquired video data to an output device such as a monitor (step S406).
  • the video processing apparatus 2 can output video data showing a person moving in a desired order in a desired node area from the video data stored in the video processing apparatus 2.
  • the video processing device 2 includes the trajectory information acquisition unit 3, the object movement information acquisition unit 4, the metadata storage unit 5, the search condition input unit 6, the metadata collation unit 7, A video data storage unit 8.
  • the trajectory information acquisition unit 3 of the video processing device 2 detects a person who moves between a plurality of video data, and detects the trajectory of the moving person. Then, the object movement information acquisition unit 4 of the video processing device 2 can acquire the object movement information based on the detected locus and store it in the metadata storage unit 5.
  • the metadata collation unit 7 of the video processing device 2 can search the object movement information stored in the metadata storage unit 5 by inputting the search condition to the search condition input unit 6.
  • the video processing device 2 includes a node area / path definition processing unit 41, a trajectory information / node region association unit 42, a query input unit 61, and a gesture recognition unit 62.
  • the trajectory information / node region association unit 42 can acquire the state of the trajectory for each node region defined by the node region / path definition processing unit 41.
  • the gesture recognition unit 62 can acquire the trajectory state for each node region. With such a configuration, it is possible to search for appropriate video data in consideration of the state of the locus in each node area.
  • the video processing apparatus in the present embodiment has the same configuration as that of the second embodiment. For this reason, description of each component has already been made and will be omitted.
  • the video processing apparatus in the present embodiment acquires a plurality of video data.
  • the node area A is divided into four node areas Aa, Ab, Ac, and Ad, and the node area B is divided into two node areas Ba and Bb.
  • the node region / path definition processing unit 41 does not necessarily define that the entire imaging range of each of the plurality of monitoring cameras is one node region when acquiring a plurality of video data. It doesn't matter. For example, like the video data A, the node area / path definition processing unit 41 can further divide the monitoring target area in one video data image into a plurality of node areas. Further, the node area / path definition processing unit 41 can change the number of node areas that divide the monitoring target area in the image of the video data for each video data.
  • the node area / path definition processing unit 41 in the present embodiment sets the node area for each video data when dividing the monitoring target area in the images of the plurality of video data by the plurality of node areas.
  • the area to be monitored in the image of each video data can be further divided into a plurality of node areas. This makes it possible to define a node region that is more in line with the actual situation, for example, by defining a node region according to the person's traffic frequency.
  • the node area definition by the node area / path definition processing unit 41 may be changed according to the magnification of the background displayed on the touch panel, for example.
  • the entire photographing range of each monitoring camera is one node area (for example, divided into a node area A, a node area a, and a node area B).
  • the expanded state it is assumed that there are four node regions of node regions Aa, Ab, Ac, and Ad (the node region A in the reduced state is the node region Aa, the node region Ab, the node region Ac, and the node region). Separated into Ad).
  • the object movement information acquisition unit 4 generates object movement information (metadata) according to the magnification that can be displayed as the background, accumulates it in the metadata accumulation unit 5, and performs each search only by the magnification operation. It may be configured to be possible. With this configuration, it is possible to perform a detailed trajectory search by subdividing the nodal region.
  • the enlargement / reduction operation may be performed by any method, for example, using gesture input such as pinch-in / pinch-out using multi-touch or using an enlargement / reduction button.
  • a video processing system 9 capable of searching for a video of a person or the like who has moved from a specific area to another specific area will be described.
  • an outline of the configuration of the video processing system 9 will be described.
  • a video processing system 9 according to the fourth embodiment of the present invention includes an object movement information acquisition unit 91, an object movement information / video data storage unit 92, a search condition input unit 93, and video data. Search means 94.
  • the object movement information acquisition unit 91 has a function of acquiring object movement information including moving node area information and node area order information from video data obtained by photographing the monitoring target area. Specifically, the object movement information acquisition unit 91 receives video data obtained by photographing a monitoring target area (for example, from one or a plurality of video data acquisition units). Subsequently, the object movement information acquisition unit 91 divides the monitoring target area into a plurality of predetermined node areas, and detects a person (moving object) moving between the plurality of node areas from video data obtained by photographing the monitoring target area. .
  • the object movement information acquisition unit 91 receives the movement node area information indicating the node area where the detected person has moved, and the node area order information indicating the order of the node areas according to the movement of the detected person. Get as. Thereafter, the object movement information acquisition unit 91 transmits the object movement information to the object movement information / video data storage unit 92.
  • the object movement information acquisition unit 91 can acquire a single piece of video data and divide the monitoring target area in the image of the acquired video data into a plurality of node regions.
  • the object movement information acquisition unit 91 acquires a plurality of video data and defines a node area for each imaging range of the plurality of video data, so that a plurality of monitoring target areas in the images of the plurality of video data are defined. Can be separated by a clause area.
  • the object movement information acquisition unit 91 can divide each monitoring target area in each acquired image data by a plurality of node regions.
  • the object movement information is configured such that video data corresponding to the object movement information can be searched.
  • the object movement information / video data storage means 92 is constituted by a hard disk, for example, and has a function of storing the object movement information in association with the video data.
  • the object movement information / video data storage unit 92 receives the object movement information transmitted by the object movement information acquisition unit 91. Further, the object movement information / video data storage unit 92 acquires the video data acquired by the object movement information acquisition unit 91 via the object movement information acquisition unit 91 and the like. Then, the object movement information / video data storage unit 92 stores the object movement information in association with the video data corresponding to the object movement information.
  • the search condition input means 93 has a function of inputting a node area indicating the movement of the person to be searched and the order of the node areas.
  • the search condition input means 93 includes, for example, an input device such as a touch panel or a keyboard.
  • the search condition input means 93 inputs the search conditions by operating the input device. Thereafter, the search condition input means 93 transmits the input search conditions to the video data search means 94.
  • the video data search means 94 has a function of searching for object movement information according to search conditions.
  • the video data search means 94 receives from the search condition input means 93 a search condition consisting of a node area and the order of the node areas. Subsequently, the video data search means 94 searches the object movement information stored in the object movement information / video data storage means 92 using the received search condition. Then, the video data search means 94 outputs the video data stored in association with the searched object movement information to an output device such as a monitor.
  • the video data search means 94 can be configured to search the object movement information / video data storage means 92 only for the same object movement information (same node region, same order) as the search condition.
  • the video data search unit 94 may search the object movement information / video data storage unit 92 for object movement information that is the same or similar to the search condition.
  • the above is the configuration of the video processing system 9.
  • a video showing a person moving in a desired order in a desired node area is searched from the video stored in the object movement information / video data storage unit 92 of the video processing system 9. It becomes possible to do. That is, it is possible to search for a video of a person or the like who has moved from a specific area to another specific area regardless of the movement path in the area (in each node area).
  • the video processing apparatus 10 capable of searching for a video of a person or the like who has moved from a specific area to another specific area will be described.
  • an outline of the configuration of the video processing apparatus 10 will be described.
  • the video processing apparatus 10 according to the fifth exemplary embodiment of the present invention includes a video data search unit 101 and a video data output unit 102.
  • the video data search unit 101 uses, as search conditions, the node area information of a plurality of node areas obtained by dividing the monitoring target area and the order information that the mobile body has passed through the node areas. It has a function of searching for video data. In other words, the video data search unit 101 acquires video data from the video data storage unit or the outside, and searches the acquired video data for video data of a moving body that matches the search condition.
  • the search condition which is a search condition performed by the video data search unit 101, includes node region information of a plurality of node regions obtained by dividing the monitoring target area and order information in which the mobile body passes through the node region.
  • the video data output unit 102 has a function of outputting the video data acquired by the video data search unit 101.
  • the video data output unit 102 is connected to an external device such as a monitor, for example, and the video data output unit 102 outputs video data to the monitor or the like.
  • the video processing apparatus 10 includes the video data search unit 101 and the video data output unit 102.
  • the search conditions for the search performed by the video processing apparatus 10 include node region information of a plurality of node regions obtained by dividing the monitoring target area and order information in which the moving body passes through the node regions.
  • the video processing apparatus 10 can search for video data using the node region information and the order information.
  • the video processing apparatus 10 can search for videos of a person or the like who has moved from a specific area to another specific area regardless of the movement route within the area.
  • the video processing device 10 described above can be realized by incorporating a predetermined program into the video processing device 10.
  • the program according to another aspect of the present invention provides a search condition acquired using the node area information of a plurality of node areas obtained by dividing the monitoring target area and the order information that the mobile body has passed through the node areas as search conditions.
  • the video processing method executed by operating the video processing device 10 described above is a search condition based on the node region information of a plurality of node regions obtained by dividing the monitoring target area and the order information on which the mobile body has passed through the node regions.
  • the video data of the moving body that matches the acquired search condition is searched, and the searched video data is output.
  • a moving object moving between the plurality of node regions is detected from video data obtained by dividing the monitoring target area into a plurality of predetermined node regions and capturing the monitoring target area, and a node region where the detected moving object has moved is detected.
  • Object movement information acquisition means for acquiring the mobile node area information shown as object movement information;
  • Object movement information / video data storage means for storing the object movement information acquired by the object movement information acquisition means in association with video data corresponding to the object movement information;
  • a search condition input means for inputting the order of the node regions as a search condition when indicating the movement of the search object to be searched;
  • Video that is stored in association with the searched object movement information by searching the object movement information stored in the object movement information / video data storage means in accordance with the search conditions input by the search condition input means
  • a video processing system comprising video data search means for outputting data.
  • the video processing system includes video data acquisition means, object movement information acquisition means, search condition input means, and video data search means.
  • the video processing system can acquire object movement information (metadata) including moving node area information and node area order information from the video data acquired by the video data acquisition means.
  • the search condition to the search condition input means
  • the video data search means can search for object movement information and output related video data.
  • (Appendix 2) Trajectory information acquisition means for acquiring a trajectory when the moving object moves between the plurality of nodal regions as trajectory information from the video data,
  • the object movement information acquisition unit is configured to acquire the object movement information by associating a trajectory indicated by the trajectory information acquired by the trajectory information acquisition unit with the plurality of predetermined node regions.
  • Video processing system
  • the video processing system includes the trajectory information acquisition means.
  • the video processing system can acquire object movement information based on the trajectory information acquired by the trajectory information acquisition unit. As a result, the object movement information can be acquired more efficiently.
  • the object movement information acquisition means acquires the object movement information to which the locus state information indicating the predetermined state is added when the state of the locus indicated by the locus information is a predetermined state.
  • Appendix 4 The video processing system according to any one of appendices 1 to 3, wherein the search condition input unit inputs the search condition by performing line drawing on a background representing the plurality of predetermined node regions.
  • appendix 5 The video according to appendix 4, wherein the search condition input unit inputs the trajectory state information by performing a predetermined operation when performing line drawing on a background representing the plurality of predetermined node regions. Processing system.
  • Appendix 6 The video processing system according to any one of appendices 1 to 5, further comprising one or a plurality of video data acquisition means for acquiring video data of the monitoring target area.
  • Video data for searching for video data of a moving body that matches the acquired search condition using the node area information of a plurality of node areas obtained by dividing the monitoring target area and the order information of the moving body passing through the node area as search conditions A search section;
  • a video processing apparatus comprising: a video data output unit that outputs the video data acquired by the video data search unit.
  • Appendix 8 A video data storage unit for storing video data; The video processing apparatus according to appendix 7, wherein the video data search unit acquires video data stored in the video data storage unit and searches for video data of a moving body that matches the search condition.
  • a moving object moving between the plurality of node regions is detected from video data obtained by dividing the monitoring target area into a plurality of predetermined node regions and capturing the monitoring target area, and a node region where the detected moving object has moved is detected.
  • An object movement information acquisition unit for acquiring the moving node area information shown as object movement information;
  • the video processing apparatus according to appendix 8, wherein the video data storage unit stores the object movement information acquired by the object movement information acquisition unit in association with video data corresponding to the object movement information.
  • a trajectory information acquisition unit that acquires trajectory information when the moving object moves between the plurality of nodal regions as trajectory information from the video data;
  • the object movement information acquisition unit according to appendix 9, wherein the object movement information is acquired by associating a trajectory indicated by the trajectory information acquired by the trajectory information acquisition unit with the plurality of predetermined node regions.
  • Video processing device
  • the object movement information acquisition unit acquires the object movement information to which the trajectory state information indicating the predetermined state is added when the state of the trajectory indicated by the trajectory information is a predetermined state.
  • the video processing apparatus according to appendix 10, wherein the video data search unit searches for video data of a moving body that matches the search condition including the trajectory state information.
  • Appendix 12 12. The video processing apparatus according to any one of appendices 8 to 11, further comprising a search condition input unit that inputs the search condition by performing line drawing on a background representing the node area.
  • Appendix 14 The video processing device according to any one of appendices 8 to 13, wherein the object movement information acquisition unit is configured to acquire the video data from one or a plurality of external devices.
  • a moving object moving between the plurality of node regions is detected from video data obtained by dividing the monitoring target area into a plurality of predetermined node regions and capturing the monitoring target area, and a node region where the detected moving object has moved is detected.
  • the moving node area information shown is acquired as object movement information, Storing the acquired object movement information in association with video data corresponding to the object movement information;
  • a trajectory when the moving object moves between the plurality of node regions is acquired from the video data as trajectory information, The video processing method according to supplementary note 16, wherein the object movement information is acquired by associating the trajectory indicated by the acquired trajectory information with the plurality of predetermined node regions.
  • Video processing device Video data for searching for video data of a moving body that matches the acquired search condition using the node area information of a plurality of node areas obtained by dividing the monitoring target area and the order information of the moving body passing through the node area as search conditions A search section; The program for functioning as a video data output part which outputs the video data acquired by the said video data search part.
  • Appendix 19 Appendix 18 for causing the video data search unit to function as a video data storage unit that stores video data, to acquire video data stored in the video data storage unit, and to search for video data of a moving body that matches the search condition The listed program.
  • a moving object moving between the plurality of node regions is detected from video data obtained by dividing the monitoring target area into a plurality of predetermined node regions and capturing the monitoring target area, and a node region where the detected moving object has moved is detected.
  • Function as an object movement information acquisition unit that acquires the mobile node area information shown as object movement information The program according to appendix 19, wherein the video data storage unit stores the object movement information acquired by the object movement information acquisition unit in association with video data corresponding to the object movement information.
  • the programs described in the above embodiments and supplementary notes are stored in a storage device or recorded on a computer-readable recording medium.
  • the recording medium is a portable medium such as a flexible disk, an optical disk, a magneto-optical disk, and a semiconductor memory.
  • Video Processing Device 11 Object Movement Information Acquisition Unit 12
  • Video Data / Metadata DB 13 Search condition input unit 14
  • Metadata collation unit 2 Video processing device 3 Trajectory information acquisition unit 31
  • Video data reception unit 32 Trajectory information acquisition unit 4
  • Object movement information acquisition unit 41 Nodal region / path definition processing unit 42 Trajectory information / nodal region correspondence Attachment unit 5
  • Metadata storage unit 6 Search condition input unit 61
  • Query input unit 62 Gesture recognition unit 7
  • Metadata collation unit 8 Video data storage unit 9
  • Video processing system 91 Video data acquisition unit 92 Object movement information acquisition unit 93 Object movement information / Video data storage means 94
  • Search condition input means 95
  • Video data search means 10 Video processing apparatus 101 Object movement information acquisition section 102 Object movement information / video data storage section 103 Search condition input section 104
  • Video data search section 104 Video data search section

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Burglar Alarm Systems (AREA)
  • Alarm Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

　監視対象エリアを予め定められた複数の節領域に区切り監視対象エリアを撮影した映像データから複数の節領域間を移動する移動物体を検出し、検出した移動物体が移動した節領域を示す移動節領域情報を物体移動情報として取得する物体移動情報取得手段と、物体移動情報取得手段が取得した物体移動情報を当該物体移動情報に応じた映像データに関連付けて記憶する物体移動情報・映像データ記憶手段と、検索の対象となる検索対象体の移動を示す節領域の順序を検索条件として入力する検索条件入力手段と、検索条件入力手段により入力される検索条件に応じて物体移動情報・映像データ記憶手段が記憶する物体移動情報を検索し、当該検索された物体移動情報に関連づけて記憶されている映像データを出力する映像データ検索手段と、を備える。

Description

映像処理システム
　本発明は、映像処理システム、映像処理装置、映像処理方法、およびプログラムに関する。
　監視カメラを用いて、所定の監視対象エリアを監視する監視システムが知られている。このような監視システムにおいては、監視カメラで取得した映像を記憶装置に記憶しておき、必要な時に所望の映像を取得して再生できるようになっている。しかしながら、全ての映像を再生して人力により所望の映像を探し出すことは極めて効率が悪い。
　そこで、取得した映像内を移動する物体（オブジェクト）のメタデータを検出し記憶しておくことで、特定の行動を行う物体が記録された映像を検索することを可能とする技術が知られている。このような技術を用いることで、監視カメラが取得した大量の映像の中から特定の行動を行う物体が記録された映像を検索することが可能となる。
　このような大量の映像から特定の行動を行う物体が記録された映像を検索するための技術として、例えば、非特許文献１が知られている。非特許文献１には、物体の形状特徴量と動き特徴量と背景の形状特徴量とを抽出してデータベース化しておき、移動物体の形状と動きと背景という３つの要素を手書きのスケッチで描画することでクエリを作成し映像検索を行うという技術が記載されている。この非特許文献１では、各フレーム画像における移動物体の領域内のオプティカルフロー（ＯＦ）を平均したベクトルを算出し、各フレーム画像におけるベクトルをまとめた連続データを移動物体の動き特徴量としてデータベース化している。同様に、ユーザが描いた手書きのスケッチからベクトルの連続データを抽出してクエリの動き特徴量としている。
瀬倉章宏、戸田真志、"移動物体と背景の描画による手書きスケッチ映像検索システム"、情報処理学会、インタラクション２０１１．
　ところで、監視カメラによる監視システムにおいて、監視対象エリアを予め定められた複数の領域に区切り、領域内での移動経路は問わずに、特定の領域から別の特定の領域に移動した人物等の映像を検索したい場合がある。このような検索を非特許文献１に記載された技術で行う場合、領域内での移動経路が異なる多数のクエリを入力する必要がある。その理由は、非特許文献１では、同じ複数の領域間を移動する人物等の映像であっても、その領域内の移動経路がクエリの移動経路と異なる映像は、検索の対象から外れてしまうためである。
　しかしながら、領域内での移動経路が多様なケースでは、複数の領域間を移動する移動経路の数は膨大になり、領域内での移動経路が異なる多数のクエリを入力することは実際上困難である。このため、漏れの無い検索は難しい。
　そこで、本発明の目的は、上述した課題である、領域内での移動経路は問わずに特定の領域から別の特定の領域に移動した人物等の映像を漏れなく検索するのは難しいという問題を解決する映像処理システムを提供することにある。
　かかる目的を達成するため本発明の一形態である映像処理システムは、
　監視対象エリアを予め定められた複数の節領域に区切り前記監視対象エリアを撮影した映像データから前記複数の節領域間を移動する移動物体を検出し、検出した前記移動物体が移動した節領域を示す移動節領域情報と、前記移動物体の移動に応じた前記節領域の順序を示す節領域順序情報と、を物体移動情報として取得する物体移動情報取得手段と、
　前記物体移動情報取得手段が取得した前記物体移動情報を当該物体移動情報に応じた映像データに関連付けて記憶する物体移動情報・映像データ記憶手段と、
　検索の対象となる検索対象体の移動を示す前記節領域と前記節領域の順序とを検索条件として入力する検索条件入力手段と、
　前記検索条件入力手段により入力される前記検索条件に応じて前記物体移動情報・映像データ記憶手段が記憶する前記物体移動情報を検索し、当該検索された物体移動情報に関連づけて記憶されている映像データを出力する映像データ検索手段と
を備える。
　また、本発明の他の形態である映像処理装置は、
　監視対象エリアを予め定められた複数の節領域に区切り前記監視対象エリアを撮影した映像データから前記複数の節領域間を移動する移動物体を検出し、検出した前記移動物体が移動した節領域を示す移動節領域情報と、前記移動物体の移動に応じた前記節領域の順序を示す節領域順序情報と、を物体移動情報として取得する物体移動情報取得部と、
　前記物体移動情報取得部が取得した前記物体移動情報を当該物体移動情報に応じた映像データに関連付けて記憶する物体移動情報・映像データ記憶部と、
　検索の対象となる検索対象体の移動を示す前記節領域と前記節領域の順序とを検索条件として入力する検索条件入力部と、
　前記検索条件入力部により入力される前記検索条件に応じて前記物体移動情報・映像データ記憶部が記憶する前記物体移動情報を検索し、当該検索された物体移動情報に関連づけて記憶されている映像データを出力する映像データ検索部と
を備える。
　また、本発明の他の形態である映像処理方法は、
　監視対象エリアを予め定められた複数の節領域に区切り前記監視対象エリアを撮影した映像データから前記複数の節領域間を移動する移動物体を検出し、検出した前記移動物体が移動した節領域を示す移動節領域情報と、前記移動物体の移動に応じた前記節領域の順序を示す節領域順序情報と、を物体移動情報として取得し、当該物体移動情報を当該物体移動情報に応じた映像データに関連付けて記憶し、
　検索の対象となる検索対象体の移動を示す前記節領域と前記節領域の順序とを検索条件として入力し、入力された前記検索条件に応じた前記物体移動情報を検索し、当該検索された物体移動情報に関連づけて記憶されている映像データを出力する。
　また、本発明の他の形態であるプログラムは、
　映像処理装置を、
　監視対象エリアを予め定められた複数の節領域に区切り前記監視対象エリアを撮影した映像データから前記複数の節領域間を移動する移動物体を検出し、検出した前記移動物体が移動した節領域を示す移動節領域情報と、前記移動物体の移動に応じた前記節領域の順序を示す節領域順序情報と、を物体移動情報として取得する物体移動情報取得部と、
　前記物体移動情報取得部が取得した前記物体移動情報を当該物体移動情報に応じた映像データに関連付けて記憶する物体移動情報・映像データ記憶部と、
　検索の対象となる検索対象体の移動を示す前記節領域と前記節領域の順序とを検索条件として入力する検索条件入力部と、
　前記検索条件入力部により入力される前記検索条件に応じて前記物体移動情報・映像データ記憶部が記憶する前記物体移動情報を検索し、当該検索された物体移動情報に関連づけて記憶されている映像データを出力する映像データ検索部と
して機能させる。
　本発明は上述した構成を有するため、領域内での移動経路は問わずに特定の領域から別の特定の領域に移動した人物等の映像を漏れなく検索することが可能になる。
本発明の第１の実施形態に係る映像処理装置の概略を説明する図である。 本発明の第１の実施形態に係る映像処理装置のブロック図である。 本発明の第１の実施形態に係る映像処理装置が物体移動情報を記憶する際の動作の一例を示すフローチャートである。 本発明の第１の実施形態に係る映像処理装置が映像データを出力する際の動作の一例を示すフローチャートである。 本発明の第１の実施形態に係る映像処理装置の動作を説明するための図である。 本発明の第２の実施形態に係る映像処理装置の概略を説明する図である。 本発明の第２の実施形態に係る映像処理装置の概略を説明する図である。 本発明の第２の実施形態に係る映像処理装置のブロック図である。 図８で示す軌跡情報取得部の構成を説明するためのブロック図である。 軌跡情報・節領域対応付け部において判断される軌跡の状態を説明するための図である。 軌跡情報・節領域対応付け部において判断される軌跡の状態を説明するための図である。 軌跡情報・節領域対応付け部において判断される軌跡の状態を説明するための図である。 クエリ入力部に入力する軌跡状態情報の一例を示す図である。 クエリ入力部に入力する軌跡状態情報の一例を示す図である。 クエリ入力部に入力する軌跡状態情報の一例を示す図である。 ジェスチャ認識部が認識したジェスチャのフィードバックの一例を示す図である。 本発明の第２の実施形態に係る映像処理装置が物体移動情報を記憶する際の動作の一例を示すフローチャートである。 本発明の第２の実施形態に係る映像処理装置が映像データを出力する際の動作の一例を示すフローチャートである。 本発明の第３の実施形態に係る映像処理装置が区切る節領域を説明するための図である。 拡大・縮小操作による節領域の変更を説明するための図である。 本発明の第４の実施形態に係る映像処理システムの構成の概略を説明するための概略ブロック図である。 本発明の第５の実施形態に係る映像処理装置の構成の概略を説明するための概略ブロック図である。
　次に本発明の実施の形態について図面を参照して詳細に説明する。
[第１の実施形態]
　図１を参照すると、本発明の第１の実施形態に係る映像処理装置１は、監視カメラなどの外部装置が取得した映像を記憶しておき、当該記憶された映像の中から所望の映像を検索してモニタなどの出力装置に出力する装置である。
　図２を参照すると、本発明の第１の実施形態に係る映像処理装置１は、物体移動情報取得部１１（物体移動情報取得手段）と映像データ・メタデータＤＢ（ＤａｔａＢａｓｅ）１２（物体移動情報・映像データ記憶手段）と検索条件入力部１３（検索条件入力手段）とメタデータ照合部１４（映像データ検索手段）とを有する。なお、映像処理装置１は、演算装置と記憶装置とを備える情報処理装置である。映像処理装置１は、記憶装置が記憶するプログラムを演算装置が実行することで、上記各機能を実現することになる。
　物体移動情報取得部１１は、監視カメラなどの外部装置（映像データ取得手段）から受信した映像データから、移動節領域情報と節領域順序情報とからなる物体移動情報を取得する機能を有する。具体的には、物体移動情報取得部１１は、監視カメラなどの外部装置から映像データを受信する。続いて、物体移動情報取得部１１は、受信した映像データの画像内の監視対象エリアを予め定められた複数の節領域に区切り当該複数の節領域間を移動する人物（移動物体）を検出する。
　ここで、節領域とは、監視対象エリアを区切る予め定められた複数の領域のことであり、人物の行動がまとめられる単位を示す領域のことである。物体移動情報取得部１１は、例えば、図示しない節領域範囲記憶部に記憶されている節領域の定義に基づいて、監視対象エリアを区切ることになる。
　節領域の範囲は任意で構わないが、例えば、部屋や廊下などの特定の空間ごとに節領域の範囲を定義したり、人物の行動（例えば人物の通行頻度）などに基づいて節領域の範囲を定義したりすることが考えられる。節領域の範囲は、人物の通行頻度や検出した人物の行動傾向などに基づいて適宜変更されるように構成しても構わない。後述するように、ユーザは節領域単位でメタデータ（物体移動情報）の検索を行うことが出来る。そのため、例えば、部屋と廊下とに節領域を定義することで、部屋・廊下単位で映像データの検索を行うことが可能となる。
　また、物体移動情報取得部１１による移動する人物の検出は、既存の様々な技術を用いて行うことが出来る。物体移動情報取得部１１は、例えば、映像データの画像フレームと予め取得された背景画像との差分を取ることで移動する人物を検出することが出来る。また、物体移動情報取得部１１は、例えば、テンプレートと呼ばれる画像領域と同じパターンが画像フレーム内に現れる否かを調べることで、当該テンプレートと同じパターンを備える人物を検出することが出来る。動きベクトルを用いて移動する物体を検出することも考えられる。また、カルマンフィルタやパーティクルフィルタにより移動する物体の追跡を行うことが出来る。このように、物体移動情報取得部１１による移動する人物の検出は、複数の節領域間を移動する人物を検出可能な様々な方法を用いることが出来る。
　物体移動情報取得部１１は、このようにして移動する人物を検出する。そして、物体移動情報取得部１１は、検出した人物が移動した節領域を示す移動節領域情報と検出した人物の移動に応じた節領域の順序を示す節領域順序情報とを物体移動情報（メタデータ）として取得する。
　ここで、移動節領域情報とは、検出した人物が移動した節領域を示す情報である。上述したように、物体移動情報取得部１１は、監視対象エリアを予め定められた複数の節領域に区切っている。そこで、物体移動情報取得部１１は、検出した人物が移動した節領域を検出し、当該検出した節領域を移動節領域情報として取得することになる。物体移動情報取得部１１による移動節領域情報の取得は、人物の移動の軌跡をとり当該軌跡と節領域とを関連付ける、各画像フレームに現れる人物が存在する節領域を逐次取得していくなど、様々な方法を用いて実現することが可能である。
　また、節領域順序情報とは、検出した人物の移動に応じた節領域の順序を示す情報である。つまり、節領域順序情報とは、検出した人物が通った節領域の通過順を示す情報である。物体移動情報取得部１１による節領域順序情報の取得も、人物の移動の軌跡と節領域とを関連付ける、各画像フレームの撮影時間を用いて節領域の通過順を判断するなど、様々な方法を用いて実現することが可能である。
　このように、物体移動情報取得部１１は、移動節領域情報として人物が移動した節領域を示す情報を取得する。また、物体移動情報取得部１１は、移動節領域情報に加えて当該移動節領域情報が示す節領域を人物が移動した際の通過順を節領域順序情報として取得する。これにより、物体移動情報取得部１１は、複数の節領域間を移動する人物が通った節領域を示す移動節領域情報と節領域の通過順を示す節領域順序情報とからなる物体移動情報を取得することが出来る。その後、物体移動情報取得部１１は、取得した物体移動情報を映像データ・メタデータＤＢ１２へと送信する。
　なお、物体移動情報取得部１１は、物体移動情報を取得する際に、検出した人物が節領域を通過した時刻（人物が節領域に現れた時刻や節領域から出る時刻）を表す時刻情報や節領域の場所を示す場所情報を取得するように構成しても構わない。物体移動情報取得部１１が時刻情報や場所情報を取得する場合には、当該取得した時刻情報や場所情報は物体移動情報と共に（又は物体移動情報に含めて）映像データ・メタデータＤＢ１２へと送信されることになる。場所情報は移動節領域情報に含むよう構成しても構わない。
　また、物体移動情報取得部１１は、物体移動情報から当該物体移動情報に応じた映像データを検索することが可能なように（物体移動情報と物体移動情報に応じた映像データとを関連付けることが可能なように）物体移動情報を構成することになる。物体移動情報取得部１１は、例えば、物体移動情報に当該物体移動情報を取得した映像データを識別するための情報を付与する。また、物体移動情報取得部１１は、例えば、検出した人物の移動開始時刻と移動終了時刻とを物体移動情報に付与する。このような情報を物体移動情報に付与することで、後述するように、物体移動情報を当該物体移動情報に応じた映像データに関連付けて記憶することが可能になる。また、検索した物体移動情報に応じた映像データを出力装置へと出力することが可能となる。なお、物体移動情報に応じた映像データとは、物体移動情報が示す節領域間を移動する人物が映る映像データのことであり、物体移動情報取得手段１１が物体移動情報を取得した映像データのことである。
　また、物体移動情報取得部１１は、監視カメラなどの外部から取得した映像データを映像データ・メタデータＤＢ１２へと送信するように構成することが出来る。なお、外部から取得した映像データは物体移動情報取得部１１を介さずに映像データ・メタデータＤＢ１２へと送信するように映像処理装置１を構成しても構わない。
　映像データ・メタデータＤＢ１２は、例えば、ハードディスクやＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）などの記憶装置で構成され、各種のデータを記憶する。ここで、映像データ・メタデータＤＢ１２が記憶するデータとは物体移動情報や映像データのことである。また、本実施形態においては、映像データ・メタデータＤＢ１２は、物体移動情報を当該物体移動情報に応じた映像データに関連付けて記憶することになる。
　映像データ・メタデータＤＢ１２は、物体移動情報取得部１１が送信した映像データを受信するなどの方法により監視カメラなどの外部から受信した映像データを受信する。そして、映像データ・メタデータＤＢ１２は、受信した映像データを記憶する。また、映像データ・メタデータＤＢ１２は、物体移動情報取得部１１が送信した物体移動情報を取得する。そして、映像データ・メタデータＤＢ１２は、物体移動情報を当該物体移動情報に応じた映像データに関連付けて記憶する。これにより、映像データ・メタデータＤＢ１２は、映像データと映像データに関連付けた物体移動情報とを記憶することになる。
　また、映像データ・メタデータＤＢ１２は、メタデータ照合部１４からの要請に応じて、記憶する物体移動情報や映像データをメタデータ照合部１４や出力装置へと送信する。メタデータ照合部１４による映像データ・メタデータＤＢ１２が記憶する物体移動情報の検索の詳細については、後述する。
　なお、物体移動情報取得部１１が時刻情報や場所情報を送信するように構成されている場合には、当該時刻情報や場所情報を物体移動情報とともに記憶することになる。
　検索条件入力部１３は、節領域と節領域の順序とを検索条件として入力する機能を有する。具体的には、検索条件入力部１３はタッチパネルやキーボードなどの入力装置を備えており、入力装置を操作することで検索条件を入力することが出来るように構成されている。検索条件入力部１３による検索条件の入力は、例えば、画面上に表示された節領域をマウスで選択することにより行われる。この際には、選択した節領域と節領域の選択順序とが検索条件になる。また、検索条件入力部１３による検索条件の入力は、例えば、節領域を背景とする画面上に検索の対象となる人物の軌跡を線で描画することにより行われる。この際には、描画した線が通過した節領域とその通過順序とが検索条件になる。その後、検索条件入力部１３は入力された検索条件をメタデータ照合部１４へと送信する。そして、メタデータ照合部１４により検索条件に基づいた物体移動情報の検索が行われることになる。
　メタデータ照合部１４は、検索条件入力部１３から受信した検索条件を基に映像データ・メタデータＤＢ１２に記憶されている物体移動情報（メタデータ）の検索を行う機能を有する。
　具体的には、メタデータ照合部１４は、検索条件入力部１３から節領域と節領域の順序とからなる検索条件を受信する。続いて、メタデータ照合部１４は、当該受信した検索条件を用いて、映像データ・メタデータＤＢ１２が記憶する物体移動情報を検索する。
　ここで、メタデータ照合部１４は、例えば、検索条件と同一の物体移動情報（同一の節領域、同一の順序）のみを映像データ・メタデータＤＢ１２から検索するように構成することが出来る。または、メタデータ照合部１４は、例えば、検索条件と同一・類似の物体移動情報を映像データ・メタデータＤＢ１２から検索するように構成することが出来る。
　なお、検索条件と物体移動情報との類似は、例えば、検索条件が示す節領域の並び（節領域と当該節領域の順序）と物体移動情報が示す節領域の並びとの離れ具合（距離）を算出することで判断することが出来る。また、上記のような方法を採る場合以外にも、類似性を判断するための様々な一般的な基準を用いて検索条件と物体移動情報とが類似であるか否かの判断を行うように、メタデータ照合部１４を構成することが出来る。
　また、メタデータ照合部１４は、検索した物体移動情報に関連付けて記憶されている映像データをモニタなどの出力装置へと送信する機能を有する。つまり、メタデータ照合部１４は、映像データ・メタデータＤＢ１２から検索した物体移動情報に関連付けて記憶されている映像データを受信してモニタなどの出力装置へと送信する。
　以上が、映像処理装置１の構成である。上記構成を映像処理装置１が備えることで、映像処理装置１が記憶する映像の中から所望の節領域を所望の順序で移動する人物が映る映像を検索することが可能となる。つまり、領域内（各節領域内）での移動経路は問わずに特定の領域から別の特定の領域に移動した人物等の映像を漏れなく検索することが可能となる。次に、本実施形態に係る映像処理装置１の動作を説明する。
　監視カメラなどの外部から取得した映像データから物体移動情報（メタデータ）を取得して、当該物体移動情報と映像データとを記憶する際の動作について説明する。
　映像処理装置１の物体移動情報取得部１１は監視カメラなどから映像データを取得すると、図３に示す処理の実行を開始する。物体移動情報取得部１１は、受信した映像データの画像内の監視対象エリアを予め定められた複数の節領域に区切り当該複数の節領域間を移動する人物（移動物体）を検出する（ステップＳ１０１）。
　続いて、物体移動情報取得部１１は、検出した人物が移動した節領域を示す移動節領域情報と検出した人物の移動に応じた節領域の順序を示す節領域順序情報とを物体移動情報（メタデータ）として取得する（ステップＳ１０２）。
　そして、物体移動情報取得部１１は、取得した物体移動情報を映像データ・メタデータＤＢ１２に送信する。また、物体移動情報取得部１１は、映像データを映像データ・メタデータＤＢ１２に送信する。その後、映像データ・メタデータＤＢ１２は、物体移動情報取得部１１が送信した物体移動情報と映像データとを受信する。そして、映像データ・メタデータＤＢ１２は、物体移動情報を当該物体移動情報に応じた映像データに関連付けて記憶する（ステップＳ１０３）。
　このような動作により、映像処理装置１は、人物が移動した節領域と当該節領域の順序とをメタデータ（物体移動情報）として記憶することになる。また、上記メタデータは、対応する映像データに関連付けて記憶されることになる。次に、映像処理装置１が記憶する映像の中から所望の節領域を所望の順序で移動する人物が映る映像を検索する際の動作について説明する。
　図４を参照すると、検索条件入力部１３に検索の対象となる検索対象体の移動を示す節領域と節領域の順序とを入力する（ステップＳ２０１）。すると、検索条件を入力された検索条件入力部１３は、当該検索条件をメタデータ照合部１４へと送信する。
　続いて、メタデータ照合部１４は、検索条件入力部１３が送信した検索条件を受信する。そして、メタデータ照合部１４は、受信した検索条件を用いて映像データ・メタデータＤＢ１２が記憶する物体移動情報の中から検索条件と同一（又は同一・類似）である物体移動情報を検索する（ステップＳ２０２）。その後、メタデータ照合部１４は、検索した物体移動情報に関連付けて記憶されている映像データを取得し、当該取得した映像データをモニタなどの出力装置へ出力する（ステップＳ２０３）。
　このような動作により、映像処理装置１は、当該映像処理装置１に記憶されている映像データの中から所望の節領域を所望の順序で移動する人物が映る映像データを出力することが出来る。
　このように、本実施形態における映像処理装置１は、物体移動情報取得部１１と、映像データ・メタデータＤＢ１２と、を備えている。この構成によると、映像処理装置１の物体移動情報取得部１１は、外部から取得した映像データから複数の節領域を移動する人物を検出し、移動節領域情報と節領域順序情報とからなる物体移動情報を取得する。そして、映像データ・メタデータＤＢ１２は、物体移動情報と映像データとを記憶する。つまり、映像処理装置１は、映像データ中の人物が移動した節領域と当該節領域の順序とを示すメタデータ（物体移動情報）を記憶することが出来る。また、本実施形態における映像処理装置１は、検索条件入力部１３と、メタデータ照合部１４と、を備えている。この構成によると、検索条件入力部１３に節領域と節領域の順序とからなる検索条件を入力し、当該検索条件から映像データ・メタデータＤＢ１２に記憶されているメタデータ（物体移動情報）の検索をメタデータ照合部１４が行うことが可能となる。その結果、領域内での移動経路は問わずに特定の領域から別の特定の領域に移動した人物等の映像を漏れなく検索することが可能になる。
　例えば、図５で示す節領域Ｃにいる人物が節領域Ｂに移動する場合、ルートａやルートｂなど様々な軌跡が考えられることになる。しかしながら本発明によると、物体移動情報取得部１１は、ルートａルートｂともに、節領域と節領域の順序、つまり、節領域Ｃ、Ｄ、ＢをＣ→Ｄ→Ｂの順序で移動したというメタデータ（物体移動情報）を取得することになる。そして、節領域と節領域の順序とを検索条件入力部１３で入力し、メタデータ照合部１４で検索されることになる。その結果、ルートａやルートｂのように特定の領域から別の特定の領域に移動した人物の領域内での移動経路が異なっていたとしても、当該特定の領域から別の特定の領域に移動した人物等の映像を漏れなく検索することが可能になる。
　なお、本実施形態においては、映像処理装置１は、映像データ・メタデータＤＢ１２を備えるとした。しかしながら、映像データとメタデータ（物体移動情報）とはそれぞれ異なる場所に記憶するように映像処理装置１を構成しても構わない。
　また、本実施形態においては、映像データの画像内の監視対象エリアを複数の節領域に区切ってから移動する人物の検出を行うとした。しかしながら、映像処理装置１は、移動する人物の検出を、監視対象エリアを複数の節領域に区切るよりも先に行うように構成しても構わない。
　また、本実施形態における映像処理装置１は、検出した人物が予め定められた所定の状態にある場合に当該所定の状態を示す情報（例えば、軌跡状態情報）を物体移動情報に含むよう構成することが出来る。ここで、予め定められた所定の状態とは、例えばうろつきや高速移動などの所定の状態のことをいう。映像処理装置１の物体移動情報取得部１１は、例えば、検出した人物が同一の節領域内を何度も往復しているなど所定の状態にある場合に検出した人物がうろつき状態にあると判断し、うろつき状態であるという情報を物体移動情報に加えることになる。なお、上記所定の状態はうろつきや高速移動などの場合に限定されない。例えば、同時刻に同じ節領域内に複数の人物が検出された場合に当該複数の人物からそれぞれ取得される物体移動情報を関連づけるなど、様々な状態を物体移動情報に含めることが出来る。また、人物が所定の状態にあるか否かの判断は、例えば、節領域毎に行うよう映像処理装置１（の物体移動情報取得部１１）を構成することが出来る。
　なお、本実施形態においては、１つの映像処理装置１が映像データから物体移動情報を取得して記憶する映像データ記憶手段と、映像データを検索する映像データ検索手段と、の２つの手段を備えるとした。しかしながら、本発明は、映像処理装置１がそのような構成を備える場合に限定されない。例えば、本発明は、映像データ記憶手段を備える情報処理装置と、映像データ検索手段を備える情報処理装置と、の２つの情報処理装置を備えることによっても実現可能である。この場合、映像データ検索手段を備える情報処理装置は、例えば、監視対象エリアを分割した複数の節領域の節領域情報と節領域を移動体が通過した順序情報とを検索条件として、取得した検索条件に合致する移動体の映像データを検索する映像データ検索部と、映像データ検索部により取得された映像データを出力する映像データ出力部とを備えることになる。このように、本発明は、複数の情報処理装置により実現されても構わない。
　また、監視カメラなどの外部装置（映像データ取得手段）から受信した映像データから物体移動情報を取得するタイミングは、任意のタイミングで行って構わない。例えば、物体移動情報取得部１１は、映像データを取得したタイミングで物体移動情報を取得することが出来る。物体移動情報の取得は、例えば、検索条件を入力されたタイミングで行われても構わない。
[第２の実施形態]
　図６、７を参照すると、本発明の第２の実施形態に係る映像処理装置２は、複数の監視カメラで撮影された映像を記憶しておき、当該記憶された複数の映像の中から所望の映像群を検索してモニタなどの出力装置に出力する装置である。特に本実施形態においては、複数の監視カメラそれぞれの撮影範囲全体がそれぞれ１つの節領域を形成する場合について説明する。また、本実施形態においては、上記所定の状態を加えた物体移動情報を取得する場合について、より詳細に説明する。
　図８を参照すると、本発明の第２の実施形態に係る映像処理装置２は、軌跡情報取得部３（軌跡情報取得手段）と、物体移動情報取得部４と、メタデータ蓄積部５と、検索条件入力部６と、メタデータ照合部７と、映像データ蓄積部８と、を有する。また、物体移動情報取得部４は、節領域・経路定義処理部４１と、軌跡情報・節領域対応付け部４２と、を有する。そして、検索条件入力部６は、クエリ入力部６１と、ジェスチャ認識部６２と、を有する。なお、映像処理装置２は、演算装置と記憶装置とを備える情報処理装置である。映像処理装置２は、記憶装置が記憶するプログラムを演算装置が実行することで、上記各機能を実現することになる。
　軌跡情報取得部３は、外部から複数の映像データを取得して複数の映像データ間を移動する人物の軌跡を検出する機能を有する。図９を参照すると、軌跡情報取得部３は、映像データ受信部３１と軌跡情報検出部３２とを有する。
　映像データ受信部３１は、監視カメラなどの外部装置から映像データを受信する機能を有する。図９で示すように、本実施形態においては所定位置に複数の監視カメラが設置されており、当該複数の監視カメラは外部のネットワークを介して映像データ受信部３１と接続されている。そのため、映像データ受信部３１は、所定位置に設置された複数の監視カメラが撮影した映像を外部のネットワークを介して取得することになる。そして、映像データ受信部３１は、軌跡情報検出部３２で軌跡情報を検出するために必要となる前処理を行った上で、複数の映像データを軌跡情報検出部３２へと送信する。
　また、映像データ受信部３１は、受信した映像データを映像データ蓄積部８へと送信する機能を有する。後述するように、映像データ蓄積部８へと送信された映像データは、出力装置へと映像データを出力する際に用いられることになる。
　軌跡情報検出部３２は、複数地点に設置された監視カメラが撮影した複数地点の映像データ間を移動する人物を検出し、当該検出した人物の軌跡を検出する機能を有する。上述したように、本実施形態においては、１つの監視カメラが撮影した映像の画像全体を１つの節領域として判断する。そのため、軌跡情報検出部３２は、複数の節領域間を移動する人物を検出し、当該複数の節領域間を移動する人物の軌跡を検出することになる。
　軌跡情報検出部３２は映像データ受信部３１が送信する映像データを受信する。または、軌跡情報検出部３２は、映像データ蓄積部８に蓄積されている映像データを取得する。そして、軌跡情報検出部３２は、映像データ受信部３１から受信した映像データや映像データ蓄積部８から取得した映像データを用いて、複数地点の映像データ間を移動する人物の検出を行う。
　例えば、図７を参照すると、軌跡情報検出部３２は、映像データＡと映像データａと映像データＢとを取得する。そして、軌跡情報検出部３２は、映像データＡと映像データａと映像データＢとを移動する同一人物の検出を行うことになる。ここで、複数の映像データ間を移動する人物の検出は、様々な技術を用いて行うことが出来る。例えば、人物の顔認識を行い、同一のデータが得られる人物を同一人物として検出する、服装認識により同一人物を認識するなどの方法を用いることが考えられる。つまり、軌跡情報検出部３２は、映像データＡと映像データａと映像データＢとのそれぞれに同一の顔や服装と認識される人物が現れた場合に、当該映像データＡと映像データａと映像データＢとのそれぞれに現れた同一の顔や服装と認識される人物を同一人物として認識する。また、例えばある映像を通過後別の映像に現れる一般的な経過時間を予め定めておき、当該予め定められた経過時間を満たす人物が検出された場合に同一人物として認識するなどの方法を用いることも考えられる。その他にも、一般的な様々な方法を用いて構わない。
　そして、軌跡情報検出部３２は、上記方法により検出された複数の映像データ間を移動する人物の軌跡を軌跡情報として検出する。軌跡情報検出部３２による人物の軌跡の検出も、様々な技術を用いて行うことが可能である。例えば、複数の映像データの幾つかの画像フレームからそれぞれ同一人物を抽出し、当該抽出した人物間を線でつなぐ、などの方法を採ることが考えられる。その他にもさまざまな一般的な方法をとって構わない。
　このように、軌跡情報検出部３２は、複数の映像データ間を移動する人物を検出し、当該複数の映像データ間を移動する人物の軌跡を軌跡情報として検出する。そして、軌跡情報検出部３２は、当該検出した軌跡情報を軌跡情報・節領域対応付け部４２に送信する。
　なお、本実施形態においては、図７を用いて、３つの映像データを取得して３つの映像データ間（３つの節領域間）を移動する人物を検出する場合について説明した。しかしながら、軌跡情報検出部３２は、例えば４つの映像データを取得して２つの映像データ間を移動する人物を検出するなど、上記場合に限定されず、複数の映像データを取得して複数の映像データ間を移動する人物を検出することが出来る。
　また、軌跡情報は、当該軌跡情報を検出した映像データを識別するための情報を含んで構成されているとする。さらに、軌跡情報は、複数の映像データのそれぞれのうち軌跡情報が示す節領域を移動する人物が映る部分を認識するための情報を含むよう構成することが出来る。軌跡情報は、軌跡情報が示す軌跡の各地点（例えば各節領域の移動開始地点や移動終了地点）を人物が通過した時刻を示す時刻情報や、軌跡情報を取得した各映像データの撮影場所を示す（節領域の場所を示す）場所情報を含めて構成しても構わない。
　物体移動情報取得部４は、軌跡情報を用いて移動節領域情報と節領域順序情報とからなる物体移動情報を取得する機能を有する。上述したように、物体移動情報取得部４は、節領域・経路定義処理部４１と、軌跡情報・節領域対応付け部４２と、を有している。
　節領域・経路定義処理部４１は、節領域、節領域同士の結合を示す経路情報を定義した節領域経路情報を生成する機能を有する。つまり、節領域・経路定義処理部４１は、複数の映像データを区切る節領域と、当該節領域間の結合を示す経路情報と、からなる節領域経路情報を生成する。そして、節領域・経路定義処理部４１は、生成した節領域経路情報を軌跡情報・節領域対応付け部４２と検索条件入力部６へと送信する。なお、節領域経路情報は予め定められていても構わない。上述したように、本実施形態においては、節領域・経路定義処理部４１は、複数の監視カメラそれぞれの撮影範囲全体がそれぞれ１つの節領域であると定義していることになる。また、各監視カメラそれぞれが撮影する場所同士のつながりが経路情報として定義されていることになる。
　軌跡情報・節領域対応付け部４２は、軌跡情報と節領域経路情報とを用いて物体移動情報を取得する機能を有する。つまり、軌跡情報・節領域対応付け部４２は、軌跡情報と節領域経路情報とを対応付けることで、軌跡が示す人物が移動した節領域を示す移動節領域情報と当該人物の移動に応じた節領域の順序を示す節領域順序情報とを物体移動情報として取得することになる。なお、本実施形態においては、上述したように、複数の監視カメラそれぞれの撮影範囲全体がそれぞれ１つの節領域であると定義している。そのため、例えば図７を参照すると、軌跡情報・節領域対応付け部４２は、節領域Ａ、節領域ａ、節領域Ｂを節領域Ａ→節領域ａ→節領域Ｂの順序で通過したという各映像データの撮影範囲に応じた物体移動情報を取得することになる。
　また、軌跡情報・節領域対応付け部４２は、各節領域内の軌跡の状態が予め定められた所定の状態であるか否かの判断を行う機能を有する。つまり、軌跡情報・節領域対応付け部４２は、上記軌跡情報と節領域経路情報との対応付けの後、それぞれの節領域内の軌跡が予め定められた所定の状態にあるか否か判断することになる。
　ここで、予め定められた所定の状態とは、例えばうろつきや高速移動などの所定の状態のことをいう。例えば、図１０を参照すると、検出した人物が節領域Ａの内部で何度も往復移動していることが分かる。このように節領域内（図１０の場合、節領域Ａ内）の軌跡情報が示す軌跡の状態が、規定回数以上往復行動をしている状態である、当該ある節領域内に所定の時間以上留まっている状態である、などの所定の状態である場合に、軌跡情報・節領域対応付け部４２は、人物がうろつき状態にあると判断する。そして、軌跡情報・節領域対応付け部４２は、節領域Ａの軌跡はうろつき状態であるという情報（軌跡状態情報）を加えた物体移動情報を取得する。
　軌跡情報・節領域対応付け部４２は、上記うろつき状態の他に、例えば、ある節領域内の軌跡状態が示す軌跡が当該節領域を高速で通り過ぎる状態にある場合には、高速移動の状態であるという情報（軌跡状態情報）を物体移動情報に加えることが出来る。軌跡情報・節領域対応付け部４２は、例えば、節領域と軌跡情報と時刻情報とを用いることで、節領域内の軌跡（人物の移動）が高速であるか否かの判断を行うことが可能である。
　その他にも軌跡情報・節領域対応付け部４２は、例えば、同時刻に同じ節領域内に複数の軌跡が存在している場合に、当該複数の軌跡を示す軌跡情報を関連付けることが出来る。つまり、軌跡情報・節領域対応付け部４２は、同時刻に同じ節領域内に存在している軌跡を示す軌跡情報を関連付ける情報を、対応する物体移動情報に加えることが出来る。また、軌跡情報・節領域対応付け部４２は、当該複数の軌跡の状態を加味した情報を物体移動情報に加えることが出来る。例えば、図１１を参照すると、複数の人物が集合して移動している状態であることが分かる。そこで、軌跡情報・節領域対応付け部４２は、複数の人物の軌跡が予め定められた距離以内の場合には、集合して移動している状態であるという情報（軌跡状態情報）をそれぞれの物体移動情報に加えることになる。また、例えば、図１２を参照すると、節領域Ａにおいて複数の人物が分離して移動していることが分かる。そこで、軌跡情報・節領域対応付け部４２は、節領域Ａにおいて複数の人物の軌跡が予め定められた距離以上離れた場合には、節領域Ａ内を分離して移動している状態であるという情報（軌跡状態情報）をそれぞれの物体移動情報に加えることになる。
　さらに、軌跡情報・節領域対応付け部４２は、軌跡の方向を加味した情報を物体移動情報に加えることが出来る。以上、軌跡状態情報としての一例を挙げたが、本発明は上記説明した以外にも様々な軌跡の状態を物体移動情報に加えることが出来る。
　このように、軌跡情報・節領域対応付け部４２は、各節領域内の軌跡自体ではなく、軌跡が所定の状態である場合に当該軌跡の所定の状態を示す軌跡状態情報を加えた物体移動情報を取得する。軌跡情報・節領域対応付け部４２は、軌跡が所定の状態にあるか否かの判断を節領域毎にまとめることになる。
　なお、物体移動情報は、当該物体移動情報を取得した軌跡情報に含まれる複数の映像データを識別するための情報を含んで構成されていることになる。また、物体移動情報は、時刻情報や場所情報を含んでいても構わない。
　以上説明したように、軌跡情報・節領域対応付け部４２は、軌跡情報と節領域経路情報とを用いて物体移動情報（メタデータ）を取得する。そして、軌跡情報・節領域対応付け部４２は、軌跡情報と物体移動情報とをメタデータ蓄積部５へと送信する。なお、軌跡情報・節領域対応付け部４２は、物体移動情報のみをメタデータ蓄積部５へ送信するように構成しても構わない。
　メタデータ蓄積部５は、例えば、ハードディスクやＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）などの記憶装置で構成され、軌跡情報や物体移動情報を記憶する。つまり、メタデータ蓄積部５は、軌跡情報・節領域対応付け部４２から送信された軌跡情報や物体移動情報を受信する。そして、メタデータ蓄積部５は、当該受信した軌跡情報や物体移動情報を記憶する。その後メタデータ蓄積部５は、後述するメタデータ照合部７の要求に対し、記憶する物体移動情報（メタデータ）を送信することになる。なお、軌跡情報・節領域対応付け部４２が物体移動情報のみを送信するように構成されている場合には、メタデータ蓄積部５は物体移動情報のみを記憶することになる。
　検索条件入力部６は、節領域と節領域の順序とを検索条件として入力する機能を有する。上述したように、検索条件入力部６はクエリ入力部６１とジェスチャ認識部６２とを有している。
　クエリ入力部６１は、メタデータ蓄積部５が記憶する物体移動情報（メタデータ）を検索するためのクエリを入力し、そのクエリを基にクエリ情報を生成する機能を有する。本実施形態におけるクエリ入力部６１はタッチパネルを備えており、当該タッチパネル上に表示される節領域に対応した背景に線描画を行うことでクエリの入力を行うことになる。
　ここで、クエリ情報とは線又は連続する点の入力を示す。本実施形態では線の入力にタッチパネルを用いるが、その他にも例えばマウスを用いるなど、線を表現可能な様々なものを用いることが出来る。そして、後述するように、入力された線と、線を描く際の方向、結合した線が何筆書きであるか、線が何本描かれたかがまとめられクエリ情報となることになる。
　クエリ入力部６１によるクエリ情報の入力は、例えば上述したように、タッチパネル上に表示された節領域に対応した背景に線描画を行うことで行われる。つまり、クエリ情報を入力したい（検索を行いたい）範囲など（節領域）を背景として選択する。そして、当該選択した範囲に線描画を行う（若しくは表示されている背景の一部に描画する）。また、この際に、予め定められた所定の動作を行うことで、軌跡状態情報を入力する。なお、軌跡状態情報は節領域毎に判断されることになる。そのため、クエリ入力部６１には、節領域毎に必要な軌跡状態情報を入力することになる。
　ここで、クエリ入力部６１に軌跡状態情報を入力する際の所定の動作の一例について説明する。図１３を参照すると、図１３αは人物がうろつき状態であるという軌跡状態情報を入力する際の動作を示している。図１３βは、人物が高速に移動している状態であるという軌跡状態情報を入力する際の動作を示している。図１３γは、複数の人物が集合して移動している状態であるという軌跡状態情報を入力する際の動作を示している。図１３δは、複数の人物が節領域Ａを分離して移動し節領域ａ、節領域Ｂを集合して移動している状態であるという軌跡状態情報を入力する際の動作を示している。図１３εは、逆走している人物がいる状態であるという軌跡状態情報を入力する際の動作を示している。
　図１３αで示すように、人物がうろつき状態であるという軌跡状態情報を入力する際には、例えば、円をぐるぐると数回描く。このように入力することで、後述するように、数回円を描かれた部分を含む節領域（図１３αの場合は節領域Ａ）で人物がうろついているという軌跡状態情報を入力することが出来る。また、図１３βで示すように、人物が高速で移動している状態であるという軌跡状態情報を入力する際には、例えば、円を１回描く。このように入力することで、１回円を描かれた部分を含む節領域（図１３βの場合は節領域Ａ）を人物が高速に移動しているという軌跡状態情報を入力することが出来る。また、図１３γで示すように、複数の線を近づけて描画することで、複数の人物が集合して移動している状態であるという軌跡状態情報を入力することが出来る。また、図１３δで示すように、図１３γのように複数の線を描画する際に線同士の間隔を予め定められた間隔以上空けることで、当該予め定められた間隔以上空けて描画した部分を含む節領域を分離して移動している状態であるという軌跡状態情報を入力することが出来る。また、図１３εで示すように、反対方向の線を描画することで、逆走している人物がいる状態であるという軌跡状態情報を入力することが出来る。
　なお、上記クエリ入力部６１に入力されるクエリは、各順序によって方向が定まることになる。また、上記クエリ同士は組み合わせることが可能である。例えば、図１４を参照すると、逆走している人物が高速に移動している状態を描画することが出来る。
　また、一筆書きと二筆書き以上とを分けることで、ＡＮＤ条件とＯＲ条件とを使い分けることが可能である。例えば図１５を参照すると、一筆書きでクエリを入力した場合には、節領域Ａを高速で移動しかつ節領域Ｂを高速で移動したという状態を描画することになる。一方で、二筆書きでクエリを入力した場合には、節領域Ａを高速で移動した又は節領域Ｂを高速で移動したという状態を描画することになる。ＡＮＤ条件、ＯＲ条件の表現のその他の例としては、三筆書き以上で書いたり、一筆書きを複数行い、複数のクエリを描いたりしてもよい。
　このように線描画を行う際に特定の図形を描画することで、軌跡状態情報を入力することが出来る。なお、本発明は上記方法を用いて軌跡状態情報を入力する場合に限定されず実施可能である。例えば、線描画の際に所定時間描画を止めることで表示されるメニューの中から所望の軌跡状態情報を選択するなど、さまざまな方法をとることが出来る。
　上記方法によりクエリ情報を入力されたクエリ入力部６１は当該クエリ情報をジェスチャ認識部６２に送信することになる。
　ジェスチャ認識部６２は、クエリ入力部６１から受信したクエリ情報と節領域・経路定義処理部４１から受信した節領域経路情報とを対応付けることで、節領域毎のクエリが表現する軌跡状態情報（ジェスチャ）を認識する機能を有する。また、ジェスチャ認識部６２は、クエリ情報と節領域経路情報とを対応付けることで、クエリが通過した（検索条件となる）節領域と節領域の順序とを取得する機能を有する。
　つまり、ジェスチャ認識部６２は、クエリ情報と節領域経路情報とを用いることで、節領域毎の軌跡状態情報（ジェスチャ）を示すジェスチャ情報と節領域と節領域の順序とを検索条件として取得する。そして、ジェスチャ認識部６２は、当該取得した検索条件をメタデータ照合部７へと送信する。
　なお、ジェスチャ認識部６２には、当該ジェスチャ認識部６２が認識したジェスチャをフィードバックする機能を持たせることが出来る。具体的には、ジェスチャ認識部６２は、予め設定された各ジェスチャに対応付けした記号やシンボルを、表示機能を備えたクエリ入力部６１に表示することが出来る。例えば、図１６のように入力と出力が同一である場合（例えば、タッチパネル上に背景と描画した線とが表示される場合）、ユーザが描画した線（クエリ情報となる）に対し、ジェスチャ認識部６２によるジェスチャの認識結果として、うろつきを示すシンボルをタッチパネル上に表示する。また、例えば、当該表示したシンボルをタップすることで、当該シンボルに対応する軌跡の状態（図１６ではうろつき）に関する詳細情報を入力することが出来るように構成することが出来る。例えば、図１６では、うろつき時間の範囲を指定していることになる。
　メタデータ照合部７は、検索条件入力部６から受信した検索条件を基にメタデータ蓄積部５に記憶されている物体移動情報（メタデータ）の検索を行う機能を有する。また、メタデータ照合部７は、検索した物体移動情報に関連する映像データを映像データ蓄積部８から取得してモニタなどの出力装置へ検索結果を出力する機能を有することが出来る。
　メタデータ照合部７は、検索条件入力部６から検索条件を受信する。すると、メタデータ照合部７は、当該受信した検索条件を用いて、メタデータ蓄積部５が記憶する物体移動情報を検索する。その後、メタデータ照合部７は、検索した物体移動情報に関連する映像データ（物体移動情報が示す人物が映っている映像データ）を映像データ蓄積部８から取得し、当該取得した映像データをモニタなどの出力装置へと送信する。
　ここで、メタデータ照合部７は、例えば、検索条件と同一の物体移動情報のみをメタデータ蓄積部５から検索するように構成することが出来る。また、メタデータ照合部７は、例えば、検索条件と同一・類似の物体移動情報をメタデータ蓄積部５から検索するように構成しても構わない。
　なお、メタデータ照合部７による類似の判断は既に説明したものと同様の構成を採りうる。また、メタデータ照合部７は、軌跡状態情報も考慮した上で類似の判断を行うように構成しても構わない。
　映像データ蓄積部８は、例えば、ハードディスクやＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）などの記憶装置で構成され、映像データを記憶する。つまり、映像データ蓄積部８は、映像データ受信部３１から送信された映像データを受信する。そして、映像データ蓄積部８は、当該受信した映像データを記憶する。その後映像データ蓄積部８は、後述するメタデータ照合部７の要求に対し、物体移動情報に応じた映像データを出力装置へと送信することになる。
　以上が、映像処理装置２の構成である。上記構成を映像処理装置２が備えることで、記憶された映像の中から所望の節領域を所望の順序で移動する人物が映る映像を検索することが可能となる。次に、本実施形態に係る映像処理装置２の動作を説明する。
　監視カメラなどの外部から取得した映像データから物体移動情報（メタデータ）を取得して、当該物体移動情報と映像データとを記憶する際の動作について説明する。
　映像処理装置２の映像データ受信部３１が外部の所定位置に複数設置された監視カメラから外部のネットワークを介して映像データを受信すると、図１７に示す処理の実行を開始することになる。映像データ受信部３１は、受信した複数地点の映像データを軌跡情報検出部３２へと送信する。そして、軌跡情報検出部３２は、複数地点の映像データ間を移動する人物を検出し、当該検出した人物の軌跡を検出する。これにより軌跡情報検出部３２は、複数地点の映像データを移動する人物の軌跡を示す軌跡情報を検出することになる（ステップＳ３０１）。
　続いて、軌跡情報検出部３２は、検出した軌跡情報を軌跡情報・節領域対応付け部４２へと送信する。また、軌跡情報・節領域対応付け部４２には、節領域・経路定義処理部４１が定義した節領域経路情報が送信されている。そこで、軌跡情報・節領域対応付け部４２は、軌跡情報と節領域経路情報とを対応付けて物体移動情報を取得する（メタデータ化）（ステップＳ３０２）。なお、物体移動情報には、節領域と節領域の順序と節領域毎の軌跡状態情報とが含まれることになる。
　続いて、軌跡情報・節領域対応付け部４２は、物体移動情報をメタデータ蓄積部５へと送信する。その後、メタデータ蓄積部５が物体移動情報をメタデータとして蓄積することになる（ステップＳ３０３）
　このような動作により、映像処理装置２は、人物が移動した節領域と当該節領域の順序と節領域毎の軌跡状態情報とをメタデータ（物体移動情報）として記憶することになる。なお、上記メタデータは、対応する映像データに関連付けて記憶されることになる。次に、映像処理装置２が記憶する映像の中から所望の節領域を所望の順序で移動する人物が映る映像を検索する際の動作について説明する。
　図１８を参照すると、検索条件入力部６のクエリ入力部６１にクエリ情報の入力を行う（ステップＳ４０１）。続いて、クエリ入力部６１は入力されたクエリ情報をジェスチャ認識部６２へと送信する。
　次に、クエリ情報をジェスチャ認識部６２が受信する。また、ジェスチャ認識部６２は、節領域・経路定義処理部４１から節領域経路情報を受信している。そこで、ジェスチャ認識部６２は、入力されたクエリ情報から予め定められた図形を読み取りクエリ情報に含まれるジェスチャを認識する（ステップＳ４０２）。また、ジェスチャ認識部６２は、認識したジェスチャと節領域経路情報とを対応付けることで、節領域毎のジェスチャ情報を取得する（ステップＳ４０３）。さらに、ジェスチャ認識部６２は、クエリ情報と節領域経路情報とを対応付けることで、クエリが通過した（検索条件となる）節領域と節領域の順序とを取得する。これにより、ジェスチャ認識部６２は、節領域と節領域の順序と節領域毎のジェスチャ（物体移動情報）を示すジェスチャ情報とからなる検索条件を取得する（ステップＳ４０４）。そして、ジェスチャ認識部６２は、取得した検索条件をメタデータ照合部７へと送信する。なお、ジェスチャ認識部６２による節領域と節領域の順序との取得は、ジェスチャ情報を取得する前に行われても構わない。
　その後、メタデータ照合部７は、ジェスチャ認識部６２が送信した検索条件を受信する。そして、メタデータ照合部７は、メタデータ蓄積部５が記憶する物体移動情報の中から検索条件と同一・類似である物体移動情報を検索する（ステップＳ４０５）。そして、メタデータ照合部１４は、検索した物体移動情報に応じた映像データを映像データ蓄積部８から取得し、当該取得した映像データをモニタなどの出力装置へ出力する（ステップＳ４０６）。
　このような動作により、映像処理装置２は、当該映像処理装置２に記憶されている映像データの中から所望の節領域を所望の順序で移動する人物が映る映像データを出力することが出来る。
　このように、本実施形態における映像処理装置２は、軌跡情報取得部３と、物体移動情報取得部４と、メタデータ蓄積部５と、検索条件入力部６と、メタデータ照合部７と、映像データ蓄積部８と、を備えている。この構成によると、映像処理装置２の軌跡情報取得部３は、複数の映像データ間を移動する人物を検出し、当該移動する人物の軌跡を検出する。そして、映像処理装置２の物体移動情報取得部４は、検出した軌跡に基づいて物体移動情報を取得し、メタデータ蓄積部５に記憶することが出来る。また、映像処理装置２のメタデータ照合部７は、検索条件入力部６に検索条件を入力することにより、メタデータ蓄積部５が記憶する物体移動情報を検索することが出来る。このような構成により、節領域と節領域の順序とからなる検索条件を入力して検索を行うことが出来るようになり、領域内での移動経路は問わずに特定の領域から別の特定の領域に移動した人物等の映像を漏れなく検索することが可能になる。
　また、本実施形態における映像処理装置２は、節領域・経路定義処理部４１と、軌跡情報・節領域対応付け部４２と、クエリ入力部６１と、ジェスチャ認識部６２と、を備えている。この構成によると、節領域・経路定義処理部４１が定義した節領域ごとの軌跡の状態を軌跡情報・節領域対応付け部４２が取得することが出来る。また、軌跡の状態を加味したクエリをクエリ入力部６１に入力することで、ジェスチャ認識部６２は節領域毎の軌跡の状態を取得することが出来る。このような構成により、各節領域内での軌跡の状態を加味した上で適切な映像データを検索することが可能になる。
[第３の実施形態]
　本実施形態では、節領域・経路定義処理部４１が第２の実施形態とは異なる形で節領域を定義する場合について説明する。
　なお、本実施形態における映像処理装置は、第２の実施形態と同様の構成をしている。そのため、各構成についての説明は既に行ったため省略する。
　図１９を参照すると、本実施形態における映像処理装置は、複数の映像データを取得している。そして、本実施形態においては節領域Ａは４つの節領域Ａａ、Ａｂ、Ａｃ、Ａｄに区切られており、節領域Ｂは２つの節領域Ｂａ、Ｂｂに区切られている。
　本実施形態で示すように、節領域・経路定義処理部４１は、複数の映像データを取得する場合に、必ずしも複数の監視カメラそれぞれの撮影範囲全体がそれぞれ１つの節領域であると定義しなくても構わない。例えば、節領域・経路定義処理部４１は、映像データＡのように、１つの映像データの画像内の監視対象エリアをさらに複数の節領域に区切ることが出来る。また、節領域・経路定義処理部４１は、映像データ毎に当該映像データの画像内の監視対象エリアを区切る節領域の数を変更することが出来る。
　このように、本実施形態における節領域・経路定義処理部４１は、複数の映像データの画像内の監視対象エリアを複数の節領域で区切る際に、各映像データ毎に節領域を設定する場合に限られず、各映像データの画像内の監視対象エリアをさらに複数の節領域に区切ることが出来る。これにより、例えば人物の通行頻度に応じた節領域を定義するなど、より実態に沿った節領域を定義することが可能となる。
　なお、節領域・経路定義処理部４１による節領域の定義は、例えばタッチパネル上に表示される背景の倍率に応じて変更するように構成しても構わない。例えば、図２０を参照すると、背景を縮小した状態においては、監視カメラそれぞれの撮影範囲全体がそれぞれ１つの節領域であるとする（例えば、節領域Ａと節領域ａと節領域Ｂとに区切る）。一方で、拡大した状態においては、節領域Ａａ、Ａｂ、Ａｃ、Ａｄの４つの節領域であるとする（縮小した状態の節領域Ａを節領域Ａａと節領域Ａｂと節領域Ａｃと節領域Ａｄとに区切る）。このように、背景として表示可能な倍率に応じて物体移動情報取得部４が物体移動情報（メタデータ）を生成してメタデータ蓄積部５に蓄積し、倍率操作のみで各々の検索を行うことが可能なように構成しても構わない。このように構成することで、節領域の細分化による詳細な軌跡検索が可能となる。なお、拡大・縮小操作は、例えば、マルチタッチを利用したピンチイン・ピンチアウトなどのジェスチャ入力や拡大縮小ボタンを用いるなど、どのような方法で行っても構わない。
　次に、特定の領域から別の特定の領域に移動した人物等の映像を漏れなく検索することが可能な映像処理システム９について説明する。なお、本実施形態においては、映像処理システム９の構成の概略について説明する。
[第４の実施形態]
　図２１を参照すると、本発明の第４の実施形態に係る映像処理システム９は、物体移動情報取得手段９１と、物体移動情報・映像データ記憶手段９２と、検索条件入力手段９３と、映像データ検索手段９４と、を有する。
　物体移動情報取得手段９１は、監視対象エリアを撮影した映像データから移動節領域情報と節領域順序情報とからなる物体移動情報を取得する機能を有する。具体的には、物体移動情報取得手段９１は、（例えば１または複数の映像データ取得手段から）監視対象エリアを撮影した映像データを受信する。続いて、物体移動情報取得手段９１は、監視対象エリアを予め定められた複数の節領域に区切り監視対象エリアを撮影した映像データから複数の節領域間を移動する人物（移動物体）を検出する。そして、物体移動情報取得手段９１は、検出した人物が移動した節領域を示す移動節領域情報と、検出した人物の移動に応じた節領域の順序を示す節領域順序情報と、を物体移動情報として取得する。その後、物体移動情報取得手段９１は、物体移動情報を物体移動情報・映像データ記憶手段９２へと送信する。
　ここで、物体移動情報取得手段９１は、単数の映像データを取得して当該取得した映像データの画像内の監視対象エリアを複数の節領域に区切ることが出来る。また、物体移動情報取得手段９１は、複数の映像データを取得して当該複数の映像データの撮影範囲毎に節領域を定義することで、複数の映像データの画像内の監視対象エリアを複数の節領域で区切ることが出来る。また、物体移動情報取得手段９１は、取得した複数の映像データそれぞれの画像内のそれぞれの監視対象エリアを複数の節領域で区切ることが出来る。
　なお、節領域や移動節領域情報、節領域順序情報などの詳細は既に説明したため省略する。また、既に説明した場合と同様に、物体移動情報は当該物体移動情報に応じた映像データを検索可能なように構成されることになる。
　物体移動情報・映像データ記憶手段９２は、例えばハードディスクなどで構成されており、物体移動情報を映像データに関連付けて記憶する機能を有する。物体移動情報・映像データ記憶手段９２は、物体移動情報取得手段９１が送信した物体移動情報を受信する。また、物体移動情報・映像データ記憶手段９２は、物体移動情報取得手段９１などを介することで、物体移動情報取得手段９１が取得した映像データを取得する。そして、物体移動情報・映像データ記憶手段９２は、物体移動情報を当該物体移動情報に応じた映像データに関連付けて記憶する。
　検索条件入力手段９３は、検索の対象となる人物の移動を示す節領域と節領域の順序とを入力する機能を有する。検索条件入力手段９３は、例えば、タッチパネルやキーボードなどの入力装置を備えている。そして、検索条件入力手段９３は、入力装置を操作することで検索条件を入力することになる。その後、検索条件入力手段９３は、入力された検索条件を映像データ検索手段９４へと送信する。
　映像データ検索手段９４は、検索条件に応じた物体移動情報を検索する機能を有する。映像データ検索手段９４は、検索条件入力手段９３から節領域と節領域の順序とからなる検索条件を受信する。続いて、映像データ検索手段９４は、当該受信した検索条件を用いて、物体移動情報・映像データ記憶手段９２が記憶する物体移動情報を検索する。そして、映像データ検索手段９４は、検索された物体移動情報に関連付けて記憶されている映像データを、例えばモニタなどの出力装置などへ出力する。
　なお、映像データ検索手段９４は、検索条件と同一の物体移動情報（同一の節領域、同一の順序）のみを物体移動情報・映像データ記憶手段９２から検索するように構成することが出来る。または、映像データ検索手段９４、検索条件と同一・類似の物体移動情報を物体移動情報・映像データ記憶手段９２から検索するように構成しても構わない。
　以上が、映像処理システム９の構成である。上記構成を映像処理システム９が備えることで、映像処理システム９の物体移動情報・映像データ記憶手段９２が記憶する映像の中から所望の節領域を所望の順序で移動する人物が映る映像を検索することが可能となる。つまり、領域内（各節領域内）での移動経路は問わずに特定の領域から別の特定の領域に移動した人物等の映像を漏れなく検索することが可能となる。
　次に、特定の領域から別の特定の領域に移動した人物等の映像を漏れなく検索することが可能な映像処理装置１０について説明する。なお、本実施形態においては、映像処理装置１０の構成の概略について説明する。
[第５の実施形態]
　図２２を参照すると、本発明の第５の実施形態に係る映像処理装置１０は、映像データ検索部１０１と、映像データ出力部１０２と、を有する。
　映像データ検索部１０１は、監視対象エリアを分割した複数の節領域の節領域情報と前記節領域を移動体が通過した順序情報とを検索条件として、取得した前記検索条件に合致する移動体の映像データを検索する機能を有する。つまり、映像データ検索部１０１は、映像データ記憶部や外部から映像データを取得して、取得した映像データから検索条件に合致する移動体の映像データを検索する。また、映像データ検索部１０１が行う検索の条件である検索条件は、監視対象エリアを分割した複数の節領域の節領域情報と前記節領域を移動体が通過した順序情報とからなっている。
　映像データ出力部１０２は、映像データ検索部１０１により取得された映像データを出力する機能を有する。映像データ出力部１０２は、例えばモニタなどの外部装置と接続されており、映像データ出力部１０２は、当該モニタなどに映像データを出力することになる。
　以上が、映像処理装置１０の構成である。このように、映像処理装置１０は、映像データ検索部１０１と、映像データ出力部１０２と、を備えている。また、映像処理装置１０が行う検索の検索条件は、監視対象エリアを分割した複数の節領域の節領域情報と前記節領域を移動体が通過した順序情報とからなっている。このような構成により、映像処理装置１０は、節領域情報と順序情報とを用いて映像データの検索を行うことが可能となる。その結果、映像処理装置１０は、領域内での移動経路は問わずに特定の領域から別の特定の領域に移動した人物等の映像を漏れなく検索することが可能になる。
　また、上述した映像処理装置１０は、当該映像処理装置１０に所定のプログラムを組み込まれることで実現できる。具体的に、本発明の他の形態であるプログラムは、監視対象エリアを分割した複数の節領域の節領域情報と節領域を移動体が通過した順序情報とを検索条件として、取得した検索条件に合致する移動体の映像データを検索する映像データ検索部と、映像データ検索部により取得された映像データを出力する映像データ出力部として機能させるためのプログラムである。
　また、上述した映像処理装置１０が作動することにより実行される映像処理方法は、監視対象エリアを分割した複数の節領域の節領域情報と節領域を移動体が通過した順序情報とを検索条件として、取得した検索条件に合致する移動体の映像データを検索し、当該検索された映像データを出力する、という方法である。
　上述した構成を有する、プログラム、又は、映像処理方法、の発明であっても、上記映像処理装置１０と同様の作用を有するために、上述した本発明の目的を達成することができる。
　＜付記＞
　上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本発明における映像処理装置などの概略を説明する。但し、本発明は、以下の構成に限定されない。
（付記１）
　監視対象エリアを予め定められた複数の節領域に区切り前記監視対象エリアを撮影した映像データから前記複数の節領域間を移動する移動物体を検出し、検出した前記移動物体が移動した節領域を示す移動節領域情報を物体移動情報として取得する物体移動情報取得手段と、
　前記物体移動情報取得手段が取得した前記物体移動情報を当該物体移動情報に応じた映像データに関連付けて記憶する物体移動情報・映像データ記憶手段と、
　検索の対象となる検索対象体の移動を示すと前記節領域の順序を検索条件として入力する検索条件入力手段と、
　前記検索条件入力手段により入力される前記検索条件に応じて前記物体移動情報・映像データ記憶手段が記憶する前記物体移動情報を検索し、当該検索された物体移動情報に関連づけて記憶されている映像データを出力する映像データ検索手段と
を備える
映像処理システム。
　この構成によると、映像処理システムが映像データ取得手段と、物体移動情報取得手段と、検索条件入力手段と、映像データ検索手段と、を備えている。このような構成により、映像処理システムは、映像データ取得手段が取得した映像データから移動節領域情報と節領域順序情報とからなる物体移動情報（メタデータ）を取得することが出来る。また、検索条件入力手段に検索条件を入力することで、映像データ検索手段は物体移動情報の検索を行い関連する映像データの出力を行うことが出来る。その結果、物体移動情報に基づいた映像データの検索を行うことが可能となり、領域内での移動経路は問わずに特定の領域から別の特定の領域に移動した人物等の映像を漏れなく検索することが可能になる。
（付記２）
　前記移動物体が前記複数の節領域間を移動する際の軌跡を軌跡情報として前記映像データから取得する軌跡情報取得手段を備え、
　前記物体移動情報取得手段は、前記軌跡情報取得手段が取得した前記軌跡情報が示す軌跡と前記予め定められた複数の節領域とを関連付けることで、前記物体移動情報を取得する
付記１に記載の映像処理システム。
　この構成によると、映像処理システムが軌跡情報取得手段を備えている。このような構成により、映像処理システムは軌跡情報取得手段が取得した軌跡情報に基づいて物体移動情報を取得することが可能になる。その結果、より効率的に物体移動情報を取得することが可能になる。
（付記３）
　前記物体移動情報取得手段は、前記軌跡情報が示す軌跡の状態が予め定められた所定の状態である場合には、当該所定の状態を示す軌跡状態情報を加えた前記物体移動情報を取得し、
　前記検索条件入力手段は、前記軌跡状態情報を加えた前記検索条件を入力するよう構成された
付記２に記載の映像処理システム。
　この構成によると、物体移動情報取得手段は、軌跡の状態を示す軌跡状態情報を加えた物体移動情報を取得する。また、検索条件入力手段には、軌跡の状態を加えた検索条件が入力される。このような構成により、軌跡の状態を加味した上で映像データの検索を行うことが可能になる。その結果、より条件と合致した映像データを検索することが可能となる。
（付記４）
　前記検索条件入力手段は、前記予め定められた複数の節領域を表す背景に線描画を行うことで、前記検索条件を入力する
付記１乃至３の何れかに記載の映像処理システム。
（付記５）
　前記検索条件入力手段は、前記予め定められた複数の節領域を表す背景に線描画を行う際に予め定められた所定の動作を行うことで前記軌跡状態情報を入力する
付記４に記載の映像処理システム。
（付記６）
　前記監視対象エリアの映像データを取得する１または複数の映像データ取得手段を有する
付記１乃至５の何れかに記載の映像処理システム。
（付記７）
　監視対象エリアを分割した複数の節領域の節領域情報と前記節領域を移動体が通過した順序情報とを検索条件として、取得した前記検索条件に合致する移動体の映像データを検索する映像データ検索部と、
　前記映像データ検索部により取得された映像データを出力する映像データ出力部と
を備える
映像処理装置。
（付記８）
　映像データを記憶する映像データ記憶部を備え、
　前記映像データ検索部は、前記映像データ記憶部が記憶する映像データを取得して前記検索条件に合致する移動体の映像データを検索する
付記７に記載の映像処理装置。
（付記９）
　監視対象エリアを予め定められた複数の節領域に区切り前記監視対象エリアを撮影した映像データから前記複数の節領域間を移動する移動物体を検出し、検出した前記移動物体が移動した節領域を示す移動節領域情報を物体移動情報として取得する物体移動情報取得部を備え、
　前記映像データ記憶部は、前記物体移動情報取得部が取得した前記物体移動情報を当該物体移動情報に応じた映像データに関連付けて記憶する
付記８に記載の映像処理装置。
（付記１０）
　前記移動物体が前記複数の節領域間を移動する際の軌跡を軌跡情報として前記映像データから取得する軌跡情報取得部を備え、
　前記物体移動情報取得部は、前記軌跡情報取得部が取得した前記軌跡情報が示す軌跡と前記予め定められた複数の節領域とを関連付けることで、前記物体移動情報を取得する
付記９に記載の映像処理装置。
（付記１１）
　前記物体移動情報取得部は、前記軌跡情報が示す軌跡の状態が予め定められた所定の状態である場合には、当該所定の状態を示す軌跡状態情報を加えた前記物体移動情報を取得し、
　前記映像データ検索部は、前記軌跡状態情報を含む前記検索条件に合致する移動体の映像データを検索する
付記１０に記載の映像処理装置。
（付記１２）
　前記節領域を表す背景に線描画を行うことで前記検索条件を入力する検索条件入力部を備えた
付記８乃至１１の何れかに記載の映像処理装置。
（付記１３）
　前記節領域を表す背景に線描画を行う際に予め定められた所定の動作を行うことで前記軌跡状態情報を入力する検索条件入力部を備えた
付記１１に記載の映像処理装置。
（付記１４）
　前記物体移動情報取得部は、１又は複数の外部装置から前記映像データを取得するよう構成された
付記８乃至１３の何れかに記載の映像処理装置。
（付記１５）
　監視対象エリアを分割した複数の節領域の節領域情報と節領域を移動体が通過した順序情報とを検索条件として、取得した検索条件に合致する移動体の映像データを検索し、
　当該検索された映像データを出力する
映像処理方法。
（付記１６）
　監視対象エリアを予め定められた複数の節領域に区切り前記監視対象エリアを撮影した映像データから前記複数の節領域間を移動する移動物体を検出し、検出した前記移動物体が移動した節領域を示す移動節領域情報を物体移動情報として取得し、
　前記取得した物体移動情報を当該物体移動情報に応じた映像データに関連付けて記憶し、
　当該物体移動情報に応じた映像データを検索する
付記１５に記載の映像処理方法。
（付記１７）
　前記移動物体が前記複数の節領域間を移動する際の軌跡を軌跡情報として前記映像データから取得し、
　取得した前記軌跡情報が示す軌跡と前記予め定められた複数の節領域とを関連付けることで、前記物体移動情報を取得する
付記１６に記載の映像処理方法。
（付記１８）
　映像処理装置を、
　監視対象エリアを分割した複数の節領域の節領域情報と前記節領域を移動体が通過した順序情報とを検索条件として、取得した前記検索条件に合致する移動体の映像データを検索する映像データ検索部と、
　前記映像データ検索部により取得された映像データを出力する映像データ出力部と
して機能させるためのプログラム。
（付記１９）
　映像データを記憶する映像データ記憶部として機能させ
　前記映像データ検索部は、前記映像データ記憶部が記憶する映像データを取得して前記検索条件に合致する移動体の映像データを検索する
付記１８に記載のプログラム。
（付記２０）
　監視対象エリアを予め定められた複数の節領域に区切り前記監視対象エリアを撮影した映像データから前記複数の節領域間を移動する移動物体を検出し、検出した前記移動物体が移動した節領域を示す移動節領域情報を物体移動情報として取得する物体移動情報取得部として機能させ、
　前記映像データ記憶部は、前記物体移動情報取得部が取得した前記物体移動情報を当該物体移動情報に応じた映像データに関連付けて記憶する
付記１９に記載のプログラム。
　なお、上記各実施形態及び付記において記載したプログラムは、記憶装置に記憶されていたり、コンピュータが読み取り可能な記録媒体に記録されている。例えば、記録媒体は、フレキシブルディスク、光ディスク、光磁気ディスク、及び、半導体メモリ等の可搬性を有する媒体である。
　以上、上記各実施形態を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることが出来る。
　なお、本発明は、日本国にて２０１４年２月１４日に特許出願された特願２０１４－０２６４６７の特許出願に基づく優先権主張の利益を享受するものであり、当該特許出願に記載された内容は、全て本明細書に含まれるものとする。
１　映像処理装置
１１　物体移動情報取得部
１２　映像データ・メタデータＤＢ
１３　検索条件入力部
１４　メタデータ照合部
２　映像処理装置
３　軌跡情報取得部
３１　映像データ受信部
３２　軌跡情報取得部
４　物体移動情報取得部
４１　節領域・経路定義処理部
４２　軌跡情報・節領域対応付け部
５　メタデータ蓄積部
６　検索条件入力部
６１　クエリ入力部
６２　ジェスチャ認識部
７　メタデータ照合部
８　映像データ蓄積部
９　映像処理システム
９１　映像データ取得手段
９２　物体移動情報取得手段
９３　物体移動情報・映像データ記憶手段
９４　検索条件入力手段
９５　映像データ検索手段
１０　映像処理装置
１０１　物体移動情報取得部
１０２　物体移動情報・映像データ記憶部
１０３　検索条件入力部
１０４　映像データ検索部

 

Claims (20)

  1. 　監視対象エリアを予め定められた複数の節領域に区切り前記監視対象エリアを撮影した映像データから前記複数の節領域間を移動する移動物体を検出し、検出した前記移動物体が移動した節領域を示す移動節領域情報を物体移動情報として取得する物体移動情報取得手段と、
    　前記物体移動情報取得手段が取得した前記物体移動情報を当該物体移動情報に応じた映像データに関連付けて記憶する物体移動情報・映像データ記憶手段と、
    　検索の対象となる検索対象体の移動を示す前記節領域の順序を検索条件として入力する検索条件入力手段と、
    　前記検索条件入力手段により入力される前記検索条件に応じて前記物体移動情報・映像データ記憶手段が記憶する前記物体移動情報を検索し、当該検索された物体移動情報に関連づけて記憶されている映像データを出力する映像データ検索手段と
    を備える
    映像処理システム。
  2. 　前記移動物体が前記複数の節領域間を移動する際の軌跡を軌跡情報として前記映像データから取得する軌跡情報取得手段を備え、
    　前記物体移動情報取得手段は、前記軌跡情報取得手段が取得した前記軌跡情報が示す軌跡と前記予め定められた複数の節領域とを関連付けることで、前記物体移動情報を取得する
    請求項１に記載の映像処理システム。
  3. 　前記物体移動情報取得手段は、前記軌跡情報が示す軌跡の状態が予め定められた所定の状態である場合には、当該所定の状態を示す軌跡状態情報を加えた前記物体移動情報を取得し、
    　前記検索条件入力手段は、前記軌跡状態情報を加えた前記検索条件を入力するよう構成された
    請求項２に記載の映像処理システム。
  4. 　前記検索条件入力手段は、前記予め定められた複数の節領域を表す背景に線描画を行うことで、前記検索条件を入力する
    請求項１乃至３の何れかに記載の映像処理システム。
  5. 　前記検索条件入力手段は、前記予め定められた複数の節領域を表す背景に線描画を行う際に予め定められた所定の動作を行うことで前記軌跡状態情報を入力する
    請求項３に記載の映像処理システム。
  6. 　前記監視対象エリアの映像データを取得する１または複数の映像データ取得手段を有する
    請求項１乃至５の何れかに記載の映像処理システム。
  7. 　監視対象エリアを分割した複数の節領域の節領域情報と前記節領域を移動体が通過した順序情報とを検索条件として、取得した前記検索条件に合致する移動体の映像データを検索する映像データ検索部と、
    　前記映像データ検索部により取得された映像データを出力する映像データ出力部と
    を備える
    映像処理装置。
  8. 　映像データを記憶する映像データ記憶部を備え、
    　前記映像データ検索部は、前記映像データ記憶部が記憶する映像データを取得して前記検索条件に合致する移動体の映像データを検索する
    請求項７に記載の映像処理装置。
  9. 　監視対象エリアを予め定められた複数の節領域に区切り前記監視対象エリアを撮影した映像データから前記複数の節領域間を移動する移動物体を検出し、検出した前記移動物体が移動した節領域を示す移動節領域情報を物体移動情報として取得する物体移動情報取得部を備え、
    　前記映像データ記憶部は、前記物体移動情報取得部が取得した前記物体移動情報を当該物体移動情報に応じた映像データに関連付けて記憶する
    請求項８に記載の映像処理装置。
  10. 　前記移動物体が前記複数の節領域間を移動する際の軌跡を軌跡情報として前記映像データから取得する軌跡情報取得部を備え、
    　前記物体移動情報取得部は、前記軌跡情報取得部が取得した前記軌跡情報が示す軌跡と前記予め定められた複数の節領域とを関連付けることで、前記物体移動情報を取得する
    請求項９に記載の映像処理装置。
  11. 　前記物体移動情報取得部は、前記軌跡情報が示す軌跡の状態が予め定められた所定の状態である場合には、当該所定の状態を示す軌跡状態情報を加えた前記物体移動情報を取得し、
    　前記映像データ検索部は、前記軌跡状態情報を含む前記検索条件に合致する移動体の映像データを検索する
    請求項１０に記載の映像処理装置。
  12. 　前記節領域を表す背景に線描画を行うことで前記検索条件を入力する検索条件入力部を備えた
    請求項８乃至１１の何れかに記載の映像処理装置。
  13. 　前記節領域を表す背景に線描画を行う際に予め定められた所定の動作を行うことで前記軌跡状態情報を入力する検索条件入力部を備えた
    請求項１１に記載の映像処理装置。
  14. 　前記物体移動情報取得部は、１又は複数の外部装置から前記映像データを取得するよう構成された
    請求項８乃至１３の何れかに記載の映像処理装置。
  15. 　監視対象エリアを分割した複数の節領域の節領域情報と節領域を移動体が通過した順序情報とを検索条件として、取得した検索条件に合致する移動体の映像データを検索し、
    　当該検索された映像データを出力する
    映像処理方法。
  16. 　監視対象エリアを予め定められた複数の節領域に区切り前記監視対象エリアを撮影した映像データから前記複数の節領域間を移動する移動物体を検出し、検出した前記移動物体が移動した節領域を示す移動節領域情報を物体移動情報として取得し、
    　前記取得した物体移動情報を当該物体移動情報に応じた映像データに関連付けて記憶し、
    　当該物体移動情報に応じた映像データを検索する
    請求項１５に記載の映像処理方法。
  17. 　前記移動物体が前記複数の節領域間を移動する際の軌跡を軌跡情報として前記映像データから取得し、
    　取得した前記軌跡情報が示す軌跡と前記予め定められた複数の節領域とを関連付けることで、前記物体移動情報を取得する
    請求項１６に記載の映像処理方法。
  18. 　映像処理装置を、
    　監視対象エリアを分割した複数の節領域の節領域情報と前記節領域を移動体が通過した順序情報とを検索条件として、取得した前記検索条件に合致する移動体の映像データを検索する映像データ検索部と、
    　前記映像データ検索部により取得された映像データを出力する映像データ出力部と
    して機能させるためのプログラム。
  19. 　映像データを記憶する映像データ記憶部として機能させ
    　前記映像データ検索部は、前記映像データ記憶部が記憶する映像データを取得して前記検索条件に合致する移動体の映像データを検索する
    請求項１８に記載のプログラム。
  20. 　監視対象エリアを予め定められた複数の節領域に区切り前記監視対象エリアを撮影した映像データから前記複数の節領域間を移動する移動物体を検出し、検出した前記移動物体が移動した節領域を示す移動節領域情報を物体移動情報として取得する物体移動情報取得部として機能させ、
    　前記映像データ記憶部は、前記物体移動情報取得部が取得した前記物体移動情報を当該物体移動情報に応じた映像データに関連付けて記憶する
    請求項１９に記載のプログラム。
PCT/JP2015/000531 2014-02-14 2015-02-05 映像処理システム WO2015122163A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2015562730A JP6194963B2 (ja) 2014-02-14 2015-02-05 映像処理システム
US15/117,812 US10389969B2 (en) 2014-02-14 2015-02-05 Video processing system
US16/444,138 US20190306455A1 (en) 2014-02-14 2019-06-18 Video processing system
US16/444,111 US20190306454A1 (en) 2014-02-14 2019-06-18 Video processing system
US16/909,252 US11665311B2 (en) 2014-02-14 2020-06-23 Video processing system
US18/127,966 US20230239428A1 (en) 2014-02-14 2023-03-29 Video processing system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014026467 2014-02-14
JP2014-026467 2014-02-14

Related Child Applications (3)

Application Number Title Priority Date Filing Date
US15/117,812 A-371-Of-International US10389969B2 (en) 2014-02-14 2015-02-05 Video processing system
US16/444,111 Continuation US20190306454A1 (en) 2014-02-14 2019-06-18 Video processing system
US16/444,138 Continuation US20190306455A1 (en) 2014-02-14 2019-06-18 Video processing system

Publications (1)

Publication Number Publication Date
WO2015122163A1 true WO2015122163A1 (ja) 2015-08-20

Family

ID=53799914

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/000531 WO2015122163A1 (ja) 2014-02-14 2015-02-05 映像処理システム

Country Status (4)

Country Link
US (5) US10389969B2 (ja)
JP (1) JP6194963B2 (ja)
AR (1) AR099431A1 (ja)
WO (1) WO2015122163A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3324307A1 (en) * 2016-11-18 2018-05-23 Kabushiki Kaisha Toshiba Retrieval device, retrieval method, and computer-readable medium
EP3535974A4 (en) * 2016-12-08 2019-09-11 Zhejiang Dahua Technology Co., Ltd METHODS AND SYSTEMS FOR VIDEO SYNOPSIS

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10691950B2 (en) * 2017-03-10 2020-06-23 Turing Video, Inc. Activity recognition method and system
KR20190028103A (ko) * 2017-09-08 2019-03-18 삼성에스디에스 주식회사 비관심 객체에 대한 마스크 처리 방법 및 그 장치
WO2019140621A1 (zh) * 2018-01-19 2019-07-25 深圳市大疆创新科技有限公司 视频处理方法及终端设备
CN111382313A (zh) * 2018-12-29 2020-07-07 浙江大华技术股份有限公司 一种动检数据检索方法、设备及装置
US10999534B2 (en) * 2019-03-29 2021-05-04 Cisco Technology, Inc. Optimized video review using motion recap images
KR102656084B1 (ko) * 2020-02-25 2024-04-11 한국전자통신연구원 이동경로 기반 객체 매핑 방법 및 장치
CN116894103B (zh) * 2023-07-24 2024-02-09 安徽云图信息技术有限公司 特定场景的数据分类存储***

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007280043A (ja) * 2006-04-06 2007-10-25 Mitsubishi Electric Corp 映像監視検索システム
JP2010123069A (ja) * 2008-11-21 2010-06-03 Panasonic Corp センシングデータ検索装置及び検索画像作成方法

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4277038A (en) * 1979-04-27 1981-07-07 The United States Of America As Represented By The Secretary Of The Army Trajectory shaping of anti-armor missiles via tri-mode guidance
MXPA02004015A (es) 1999-10-22 2003-09-25 Activesky Inc Un sistema de video orientado a los objetos.
US7194109B2 (en) * 2001-08-30 2007-03-20 Hitachi Kokusai Electric, Inc. Method and system for delivering monitored image signal of subject to be monitored
US7088846B2 (en) * 2003-11-17 2006-08-08 Vidient Systems, Inc. Video surveillance system that detects predefined behaviors based on predetermined patterns of movement through zones
US7136507B2 (en) * 2003-11-17 2006-11-14 Vidient Systems, Inc. Video surveillance system with rule-based reasoning and multiple-hypothesis scoring
US7127083B2 (en) * 2003-11-17 2006-10-24 Vidient Systems, Inc. Video surveillance system with object detection and probability scoring based on object class
US20060066719A1 (en) * 2004-09-24 2006-03-30 Objectvideo, Inc. Method for finding paths in video
GB0502369D0 (en) * 2005-02-04 2005-03-16 British Telecomm Classifying an object in a video frame
JP4152398B2 (ja) * 2005-05-26 2008-09-17 三洋電機株式会社 手ぶれ補正装置
US7801330B2 (en) * 2005-06-24 2010-09-21 Objectvideo, Inc. Target detection and tracking from video streams
US9036028B2 (en) * 2005-09-02 2015-05-19 Sensormatic Electronics, LLC Object tracking and alerts
US8688675B2 (en) * 2006-02-27 2014-04-01 Robert Bosch Gmbh Trajectory-based video retrieval system, and computer program
JP2008092279A (ja) * 2006-10-02 2008-04-17 Fuji Electric Systems Co Ltd 監視システム及び監視方法
JP4933354B2 (ja) * 2007-06-08 2012-05-16 キヤノン株式会社 情報処理装置、及び情報処理方法
US8670592B2 (en) * 2008-04-24 2014-03-11 GM Global Technology Operations LLC Clear path detection using segmentation-based method
JP2008211847A (ja) * 2008-05-26 2008-09-11 Matsushita Electric Ind Co Ltd 監視用デジタル画像記録再生装置
US8284258B1 (en) * 2008-09-18 2012-10-09 Grandeye, Ltd. Unusual event detection in wide-angle video (based on moving object trajectories)
US8457466B1 (en) * 2008-09-29 2013-06-04 Videomining Corporation Videore: method and system for storing videos from multiple cameras for behavior re-mining
US20110205359A1 (en) * 2010-02-19 2011-08-25 Panasonic Corporation Video surveillance system
US8379098B2 (en) * 2010-04-21 2013-02-19 Apple Inc. Real time video process control using gestures
JP5656567B2 (ja) * 2010-11-05 2015-01-21 キヤノン株式会社 映像処理装置および方法
US8335350B2 (en) * 2011-02-24 2012-12-18 Eastman Kodak Company Extracting motion information from digital video sequences
JP5102410B2 (ja) * 2011-03-22 2012-12-19 パナソニック株式会社 移動体検出装置および移動体検出方法
US8988230B2 (en) * 2011-10-25 2015-03-24 Accipiter Radar Technologies Inc. Device and method for smart, non-habituating, automatic bird deterrent system
US20130234926A1 (en) * 2012-03-07 2013-09-12 Qualcomm Incorporated Visually guiding motion to be performed by a user
US10096235B2 (en) * 2012-03-15 2018-10-09 Omni Ai, Inc. Alert directives and focused alert directives in a behavioral recognition system
JP5550124B2 (ja) * 2012-08-17 2014-07-16 Ｎｅｃシステムテクノロジー株式会社 入力装置、機器、入力方法およびプログラム
US20170011529A1 (en) * 2014-02-14 2017-01-12 Nec Corporation Video analysis system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007280043A (ja) * 2006-04-06 2007-10-25 Mitsubishi Electric Corp 映像監視検索システム
JP2010123069A (ja) * 2008-11-21 2010-06-03 Panasonic Corp センシングデータ検索装置及び検索画像作成方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3324307A1 (en) * 2016-11-18 2018-05-23 Kabushiki Kaisha Toshiba Retrieval device, retrieval method, and computer-readable medium
EP3535974A4 (en) * 2016-12-08 2019-09-11 Zhejiang Dahua Technology Co., Ltd METHODS AND SYSTEMS FOR VIDEO SYNOPSIS

Also Published As

Publication number Publication date
AR099431A1 (es) 2016-07-20
US20230239428A1 (en) 2023-07-27
US11665311B2 (en) 2023-05-30
US10389969B2 (en) 2019-08-20
US20170013230A1 (en) 2017-01-12
US20190306455A1 (en) 2019-10-03
US20190306454A1 (en) 2019-10-03
JPWO2015122163A1 (ja) 2017-03-30
JP6194963B2 (ja) 2017-09-13
US20210014451A1 (en) 2021-01-14

Similar Documents

Publication Publication Date Title
JP6194963B2 (ja) 映像処理システム
US10074186B2 (en) Image search system, image search apparatus, and image search method
JP6362674B2 (ja) 映像監視支援装置、映像監視支援方法、およびプログラム
CN105830093B (zh) 用于产生与非均匀大小的空间区相关的元数据的***、方法及设备
US9870684B2 (en) Information processing apparatus, information processing method, program, and information processing system for achieving a surveillance camera system
JP5227911B2 (ja) 監視映像検索装置及び監視システム
JP6961363B2 (ja) 情報処理システム、情報処理方法及びプログラム
JP2020503604A (ja) 外観検索のシステムおよび方法
US10999556B2 (en) System and method of video capture and search optimization
US11308158B2 (en) Information processing system, method for controlling information processing system, and storage medium
KR101933153B1 (ko) 관심객체 이동방향에 따른 관제 영상 재배치 방법 및 장치
US11429985B2 (en) Information processing device calculating statistical information
JPWO2013176263A1 (ja) 類似画像検索システム
JP4110323B2 (ja) 情報出力方法及び装置及びプログラム及び情報出力プログラムを格納したコンピュータ読み取り可能な記憶媒体
JP2019020820A (ja) 映像認識システム
JP2013164667A (ja) 映像検索装置、映像検索方法、および映像検索用プログラム
JP2012242878A (ja) 類似画像検索システム
JP6730714B2 (ja) 解析処理システム
Rajput et al. Heuristics2Annotate: Efficient Annotation of Large-Scale Marathon Dataset For Bounding Box Regression
KR20220040148A (ko) 동작 흐름 데이터 생성 방법, 상기 동작 흐름 데이터를 이용한 동작 유사 판단 방법, 동작 흐름 데이터 처리 장치 및 시스템
Tran et al. Anomaly Event Retrieval System from TV News and Surveillance Cameras
JP2023064238A (ja) 計算機システム及び運動を行う人の身体動作の分析方法
Khoshrou et al. Spatio-temporal fusion for learning of regions of interests over multiple video streams
JP2021068102A (ja) 情報処理システム、情報処理システムの制御方法、情報処理装置、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15748536

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015562730

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15117812

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15748536

Country of ref document: EP

Kind code of ref document: A1