WO2023166649A1 - 移動軌跡情報処理装置、移動軌跡情報処理方法、および記録媒体 - Google Patents

移動軌跡情報処理装置、移動軌跡情報処理方法、および記録媒体 Download PDF

Info

Publication number
WO2023166649A1
WO2023166649A1 PCT/JP2022/009081 JP2022009081W WO2023166649A1 WO 2023166649 A1 WO2023166649 A1 WO 2023166649A1 JP 2022009081 W JP2022009081 W JP 2022009081W WO 2023166649 A1 WO2023166649 A1 WO 2023166649A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
image
information
movement trajectory
trajectory information
Prior art date
Application number
PCT/JP2022/009081
Other languages
English (en)
French (fr)
Inventor
拓也 小川
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2022/009081 priority Critical patent/WO2023166649A1/ja
Publication of WO2023166649A1 publication Critical patent/WO2023166649A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to a movement trajectory information processing device, a movement trajectory information processing method, and a recording medium.
  • Patent Document 1 An example of a conventional device that calculates movement trajectory information is described in Patent Document 1.
  • a conventional apparatus continuously photographs a moving object such as a moving person while fixing the pan value, tilt value, and zoom value (PTZ value) of the camera.
  • the conventional device extracts the position of the moving object from the image obtained by the camera at the time of each photographing, and uses the camera calibration information (intrinsic parameters and extrinsic parameters) to extract the position of the object on the image of the object. Converts coordinate values to coordinate values in real space.
  • the conventional device uses the time series of the position of the moving body in the real space obtained as described above as movement trajectory information.
  • a camera with a fixed PTZ value has a limited field of view. Therefore, in order to monitor a wider range, it is important to calculate the movement trajectory information of the target object from multiple images captured continuously by the camera while changing the PTZ value and capturing the moving target within the imaging range. is.
  • the camera calibration information for that camera changes.
  • calibration work by the operator is required. For this reason, the conventional apparatus that directly converts the coordinate values on the image of the target object to the coordinate values on the real space by using the camera calibration information from each of a plurality of images that are continuously shot cannot image the moving target object. It has been difficult to calculate movement trajectory information from a plurality of images of an object continuously captured by a camera that captures a range.
  • An object of the present invention is to provide a movement trajectory information processing apparatus that solves the above-described problems.
  • a movement trajectory information processing device includes: Moving trajectory information, which is a time series of the position information of the moving object on the image and the orientation information of the camera, from a plurality of images continuously taken of the moving object by a camera that captures the moving object in the captured images.
  • a calculating means for calculating calculating; calculating a planar projective transformation matrix from the image to a predetermined image, and using the calculated planar projective transformation matrix to convert the movement trajectory information into movement trajectory information, which is a time series of positional information of the object on the predetermined image; a conversion means for converting to
  • a movement trajectory information processing device comprising: is configured as
  • a movement trajectory information processing method includes: Moving trajectory information, which is a time series of the position information of the moving object on the image and the orientation information of the camera, from a plurality of images continuously taken of the moving object by a camera that captures the moving object in the captured images. calculate, calculating a planar projective transformation matrix from the image to a predetermined image; converting the movement trajectory information into movement trajectory information that is a time series of positional information of the object on the predetermined image using the calculated planar projective transformation matrix; is configured as
  • a computer-readable recording medium comprises: to the computer, Moving trajectory information, which is a time series of the position information of the moving object on the image and the orientation information of the camera, from a plurality of images continuously taken of the moving object by a camera that captures the moving object in the captured images. a process of calculating; A process of calculating a planar projective transformation matrix from the image to a predetermined image; A process of converting the movement trajectory information into movement trajectory information that is a time series of position information of the object on the predetermined image using the calculated planar projective transformation matrix; It is configured to record a program for causing the
  • the present invention can calculate movement trajectory information of an object from a plurality of images of the object that are successively captured by a camera that captures the moving object within the imaging range.
  • FIG. 4 is a diagram showing an example of tracked object movement trajectory information used by the control device in the tracking system according to one embodiment of the present invention
  • FIG. 4 is a diagram showing an example of to-be-verified trajectory information used by the control device in the tracking system according to one embodiment of the present invention
  • FIG. 4 is a diagram showing an example of to-be-verified trajectory information used by the control device in the tracking system according to one embodiment of the present invention
  • FIG. 4 is a schematic diagram for explaining an example of a method for converting position information on an image from an image coordinate system to a world coordinate system in the control device in the tracking system according to one embodiment of the present invention
  • 4 is a flowchart showing an example of tracking processing performed by a control device using one camera in the tracking system according to one embodiment of the present invention
  • 4 is a flowchart showing an example of tracking processing performed by the control device using the other camera in the tracking system according to one embodiment of the present invention
  • 1 is a block diagram of an embodiment of a movement trajectory information processing device according to the present invention
  • a camera with fixed PTZ values has a limited field of view of the camera.
  • the field of view of the camera can be expanded.
  • the field of view of a single camera is still limited. Therefore, a system is considered in which a plurality of PTZ cameras are distributed over a monitoring area with a part of the camera field of view shared, and a person is tracked in a wider range spatially and temporally.
  • the system automatically recognizes when a person being tracked by one camera comes into the field of view of another camera, and the other camera begins tracking that person. I hope you can.
  • a person's movement trajectory can be used to determine which person should take over tracking from many persons present in the field of view of the camera. That is, by collating information on the movement trajectory of a person being tracked by one camera (tracking target movement trajectory information) with information on the movement trajectory of a person within the field of view of the other camera (matched movement trajectory information). , determine the tracking target. In order to perform such collation, it is necessary that the tracking target trajectory information and the collated trajectory information are expressed in the same coordinate system.
  • the coordinate system that expresses the position of a person captured by a camera includes an image coordinate system and a camera coordinate system unique to each camera, and a world coordinate system that is common to multiple cameras.
  • the image coordinate system is a two-dimensional coordinate system on the image pickup device, and the position of a point on the image is usually represented by this image coordinate system.
  • the camera coordinate system is a coordinate system defined by the image coordinate system and internal parameters of the camera. Therefore, the image coordinate system of the camera and the camera coordinate system of the camera can be mutually transformed using the intrinsic parameters of the camera.
  • the world coordinate system is a coordinate system defined by camera calibration information composed of camera intrinsic and extrinsic parameters and an image coordinate system. Therefore, the image coordinate system of a camera and the world coordinate system can be transformed to each other using the camera calibration information of the camera.
  • a conventional device extracts the position of a person from a photographed image in an image coordinate system, and uses camera calibration information to convert the coordinate values of the extracted person in the image coordinate system into coordinate values in the world coordinate system. do.
  • changing the PTZ value of the camera to track a person changes the camera calibration information.
  • a tracking system 10 according to an embodiment to which the present invention is applied will now be described in detail with reference to the drawings.
  • FIG. 1 is a schematic diagram showing a configuration example of a tracking system 10 according to one embodiment of the present invention.
  • a tracking system 10 is a system for detecting and tracking a person on a passageway, and includes two PTZ cameras 11 and 12 and a control device 20 .
  • the PTZ cameras include solid-state imaging devices such as CMOS sensors and CCD sensors, and pan heads.
  • the cameras 11 and 12 generate a plurality of images by continuously photographing the photographing range at regular intervals, for example, in accordance with instructions from the control device 20 . It is preferable that the imaging cycles and imaging timings of the cameras 11 and 12 are the same or similar, but they may be different.
  • the cameras 11 and 12 can change the imaging range by changing the pan, tilt, and zoom in accordance with commands from the control device 20 .
  • “pan” means moving the camera left and right
  • tilt means moving the camera up and down
  • zoom means changing the angle of view to telephoto or wide angle.
  • the cameras 11 and 12 are installed dispersedly in the monitoring area so that a part of their photographing ranges are shared.
  • the camera 11 monitors monitoring areas 13A, 13B, and 13C set on a passage extending in the horizontal direction of the paper.
  • the camera 12 monitors a monitoring area 13C and a monitoring area 13D set on a passage extending in the vertical direction of the paper.
  • the monitoring area 13C corresponds to the corner portion of the passage. That is, the corner area of the passage is the surveillance area 13C that is common to the two cameras 11 and 12 .
  • On the aisle a person enters from the left side of the paper surface, passes through the corner of the passage, and exits from the lower side of the paper surface.
  • the monitoring areas 13A to 13D are assumed to be flat surfaces.
  • the control device 20 is connected to the cameras 11 and 12 by wire or wirelessly.
  • the control device 20 calculates camera calibration information (intrinsic parameters and extrinsic parameters) of each camera when the cameras 11 and 12 are installed.
  • This camera calibration information is calculated by setting the PTZ values of the cameras 11 and 12 as the reference PTZ of each camera.
  • the reference PTZ of the camera 11 is set so as to provide a camera field of view capable of photographing a person in the monitoring area 13A.
  • the reference PTZ of the camera 12 is set so as to provide a camera field of view capable of photographing a person in the monitoring area 13C.
  • the control device 20 monitors and displays on the screen display unit images continuously captured by the camera 11 fixed to the reference PTZ.
  • the control device 20 tracks the designated person while changing the PTZ value of the camera 11 . Then, the control device 20 calculates in real time information on the movement trajectory of the person being tracked (tracking target movement trajectory information) in the image coordinate system of the camera 12 .
  • the control device 20 collects the movement trajectory information (verified movement trajectory information) of all persons in the monitoring area 13C from the camera 12 . is calculated in real time in the image coordinate system of Then, the control device 20 collates the tracked movement trajectory information of the person being tracked by the camera 11 with the verified movement trajectory information of all the persons captured by the camera 12 in real time. Thereby, the control device 20 determines which person captured by the camera 12 is the person being tracked by the camera 11 . Next, the control device 20 continues tracking with the camera 12 while catching the determined person in the imaging range of the camera 12, and displays the image on the screen display unit as a monitor.
  • the control device 20 collects the movement trajectory information (verified movement trajectory information) of all persons in the monitoring area 13C from the camera 12 . is calculated in real time in the image coordinate system of Then, the control device 20 collates the tracked movement trajectory information of the person being tracked by the camera 11 with the verified movement trajectory information of all the persons captured by the camera 12 in real time. Thereby, the control device 20 determines which person captured by the camera
  • FIG. 2 is a block diagram showing an example of the control device 20.
  • the control device 20 includes a communication I/F (interface) section 21 , an operation input section 22 , a screen display section 23 , a storage section 24 and an arithmetic processing section 25 .
  • the communication I/F unit 21 is composed of a data communication circuit, and is configured to perform data communication with the cameras 11 and 12 and other external devices (not shown) by wire or wirelessly.
  • the operation input unit 22 is composed of an operation input device such as a keyboard and a mouse, and is configured to detect an operator's operation and output it to the arithmetic processing unit 25 .
  • the screen display unit 23 is composed of a display device such as an LCD (Liquid Crystal Display), and is configured to display images captured by the cameras 11 and 12 and the like.
  • the storage unit 24 is composed of one or more types of storage devices such as hard disks and memories, and is configured to store processing information and programs 241 required for various processes in the arithmetic processing unit 25 .
  • the program 241 is a program that realizes various processing units by being read and executed by the arithmetic processing unit 25, and can be read from an external device or a recording medium (not shown) via a data input/output function such as the communication I/F unit 21. It is read in advance and stored in the storage unit 24 .
  • Main processing information stored in the storage unit 24 includes camera calibration information 242-1, 242-2, reference images 243-1, 243-2, image DB (database) 244-1, 244-2, tracking target There is moving track information 245 and collated moving track information 246 .
  • the camera calibration information 242-1 is the camera calibration information of the camera 11 (internal parameters and external parameters of the camera 11).
  • the camera calibration information 242-2 is camera calibration information of the camera 12 (intrinsic parameters and extrinsic parameters of the camera 12).
  • a reference image 243-1 is an image of the surveillance area 13A captured by the camera 11 set to the pan value, tilt value, and zoom value when obtaining the camera calibration information 242-1.
  • the reference image 243-1 includes, in addition to the image, the pan value, tilt value, and zoom value (reference PTZ value of the camera 11) of the camera 11 when the reference image was captured, and the camera position (the position of the camera 11 in the world coordinate system). is included.
  • the reference image 243-2 is an image of the monitoring area 13C captured by the camera 12 set to the pan value, tilt value, and zoom value when the camera calibration information 242-2 was obtained.
  • the reference image 243-2 includes the pan value, tilt value, zoom value (reference PTZ value of the camera 12) and camera position (position of the camera 11 in the world coordinate system) at the time of photographing the reference image, in addition to the image. .
  • the image DB 244-1 accumulates the time series of images taken by the camera 11. Each image stored in the image DB 244-1 is added with the camera ID of the camera 11, the shooting time, and the PTZ value at the time of shooting. That is, the image data sent from the camera 11 to the arithmetic processing unit 25 through the communication I/F unit 21 includes the camera ID of the camera 11, the image captured by the camera 11, the time when the image was captured, and the time when the image was captured. The posture information (pan value, tilt value, zoom value) of the camera 11 at the time of image capturing is included.
  • the image DB 244-2 accumulates the time series of images taken by the camera 12. FIG. Each image stored in the image DB 244-2 is added with the camera ID of the camera 12, the shooting time, and the PTZ value at the time of shooting.
  • the tracked object movement trajectory information 245 is information related to the movement trajectory of the tracked person calculated based on the image captured by the camera 11 .
  • FIG. 3 is a diagram showing a configuration example of the tracked object movement trajectory information 245.
  • the tracked object movement trajectory information 245 in this example includes an entry 2451 composed of a tracked object ID that uniquely identifies the tracked object, the camera ID of the camera 11, and associated information, and a plurality of It is composed of a plurality of entries 2452 corresponding to images one-to-one.
  • a plurality of entries 2452 are linked in a line in order of photographing time by the association information in the entry 2451 and the association information in the entry 2452 .
  • Each entry 2452 includes shooting time, human area, posture information, position information (image coordinate system of camera 11), image feature, position information (image coordinate system of camera 12), movement vector, movement speed, acceleration, and It is composed of association information.
  • the shooting time represents the shooting time of the corresponding image.
  • a person area represents, for example, a bounding rectangle of the person area in the corresponding image.
  • the orientation information represents the orientation of the camera 11 when the corresponding image was captured. A method of acquiring this posture information will be described later.
  • the position information (the image coordinate system of the camera 11) represents the coordinate values of one point in the image coordinate system of the camera 11 that represents the person area in the same entry.
  • One point representing the person area may be, for example, the center of gravity of the person area, but is not limited to this, and may be the center of gravity of the face, feet, or the like.
  • An image feature represents a feature amount of an image extracted from a human region in the corresponding image. Image features may include, but are not limited to, face features, clothing features, and person size.
  • the position information (image coordinate system of camera 12) represents position information in the image coordinate system of camera 12 corresponding to the position information (image coordinate system of camera 11) in the same entry.
  • a motion vector represents the amount and direction of movement of the tracked person between the corresponding image and an adjacent image.
  • the moving speed represents the moving speed of the tracked person. Acceleration represents the acceleration of the tracked person.
  • the movement vector, movement speed, and acceleration are calculated, for example, based on position information (image coordinate system of the camera 12) in a plurality of adjacent entries 2452.
  • the type of data included in entry 2452 is an example, and is not limited to the above.
  • the to-be-verified movement trajectory information 246 is information related to the movement trajectory of the person extracted from the image captured by the camera 12 .
  • the to-be-verified movement trajectory information 246 exists for each person extracted from the image captured by the camera 12 .
  • FIG. 4 is a diagram showing a configuration example of the to-be-verified movement trajectory information 246.
  • the to-be-verified movement trajectory information 246 in this example includes an entry 2461 composed of a person ID that uniquely identifies a person, a camera ID of the camera 12, and association information, and a plurality of images continuously shot by the camera 12. It is composed of a plurality of entries 2462 in one-to-one correspondence. A plurality of entries 2462 are linked in a line in order of photographing time by the association information in the entry 2461 and the association information in the entry 2462 .
  • Each entry 2462 is composed of shooting time, human area, posture information, position information (image coordinate system of the camera 12), image feature, movement vector, movement speed, acceleration, and association information.
  • the shooting time represents the shooting time of the corresponding image.
  • a person area represents, for example, a bounding rectangle of the person area in the corresponding image.
  • the orientation information represents the orientation of the camera 12 when the corresponding image was captured.
  • the position information (the image coordinate system of the camera 12) represents the coordinate values in the image coordinate system of the camera 11 for one point representing the person area in the same entry.
  • One point representing the person area is defined in the same manner as the position information (image coordinate system of camera 11) in entry 2452 in FIG.
  • An image feature represents a feature amount of an image extracted from a human region in the corresponding image.
  • the motion vector represents the amount and direction of motion of the target person between the corresponding image and the adjacent images.
  • the moving speed represents the moving speed of the target person.
  • Acceleration represents the acceleration of the target person.
  • the movement vector, movement speed, and acceleration are calculated, for example, based on position information (image coordinate system of the camera 12) in a plurality of adjacent entries 2462.
  • FIG. The type of data included in entry 2462 is an example and is not limited to the above.
  • the arithmetic processing unit 25 has one or more microprocessors such as an MPU and their peripheral circuits, and by reading and executing the program 241 from the storage unit 24, the hardware and the program 241 cooperate to perform various processes. It is configured to realize the part.
  • Main processing units realized by the arithmetic processing unit 25 include a camera calibration unit 251 and two monitoring units 252 and 253 .
  • the camera calibration unit 251 is configured to acquire camera calibration information of the cameras 11 and 12 through interactive processing with the operator via the operation input unit 22 and screen display unit 23 .
  • the camera calibration method used is not particularly limited.
  • the monitoring unit 252 is configured to use the camera 11 to detect and track a person moving within the monitoring areas 13A to 13C.
  • the monitoring unit 252 includes a detection unit 2521 , a tracking unit 2522 and a coordinate conversion unit 2523 .
  • the detection unit 2521 detects a specific person as a tracking target from among all persons present in the monitoring area 13A based on images of the monitoring area 13A continuously captured by the camera 11 set to the reference PTZ value. is configured as
  • the tracking unit 2522 calculates information on the movement trajectory of the tracking target in the image coordinate system of the camera 11 while tracking the tracking target detected by the detection unit 2521 with the camera 11 so as to capture it at a predetermined location in the imaging range of the camera 11 . and stored in the storage unit 24 as the tracking target movement trajectory information 245 .
  • the predetermined location may be the center of the imaging range, but is not limited to this, and may be a location other than the center of the imaging range as long as it is the same for a plurality of images.
  • the tracking unit 2522 changes the PTZ value of the camera 11 to track the tracking target. can be captured at a predetermined location.
  • the coordinate transformation unit 2523 is configured to transform the position information (the image coordinate system of the camera 11) in the entry 2452 of the tracking target movement trajectory information 245 calculated by the tracking unit 2522 into the position information (the image coordinate system of the camera 12). It is
  • FIG. 5 is a schematic diagram for explaining an example of a method for converting position information (image coordinate system of camera 11) into position information (image coordinate system of camera 12).
  • an image I 0 is an image captured by the camera 12 set to the same PTZ value as when the camera calibration information 242-2 was calculated.
  • Images I 1 , I 2 , and I 3 are a plurality of images taken by the camera 11 continuously while changing the PTZ value.
  • the coordinate transformation unit 2523 first calculates a planar projective transformation matrix H 1 from the image I 1 to the image I 0 in transforming the position information P 1 on the image I 1 into the image coordinate system of the camera 12 . Next, the coordinate transformation unit 2523 calculates position information P′ 1 on the image I 0 corresponding to the position information P 1 on the image I 1 using the planar projective transformation matrix H 1 calculated above.
  • the plane projective transformation matrix from camera 11 to camera 12 photographing the same plane can be obtained if the translation and rotation between the cameras are known.
  • the translation between camera 11 and camera 12 can be determined from the installation positions of camera 11 and camera 12 .
  • the rotation between the cameras can be obtained from the orientation when the camera 11 captured the image I 1 and the orientation when the camera 12 captured the image I 0 . Therefore, the coordinate conversion unit 2523 acquires the installation position of the camera 11 stored in the reference image 243-1 and the installation position of the camera 12 stored in the reference image 243-2, and converts the camera 11 and Compute the translation to and from the camera 12 .
  • the coordinate transformation unit 2523 converts the orientation information of the camera 11 stored in the entry 2452 corresponding to the image I 1 and the orientation information of the camera 12 when the image I 0 was captured stored in the reference image 243-2. are respectively obtained to calculate the rotation between the cameras 11 and 12 . Then, the coordinate transformation unit 2523 calculates a planar projective transformation matrix H 1 based on the translation and rotation between the cameras 11 and 12 thus obtained.
  • the method for calculating the planar projective transformation matrix H 1 is not limited to the above.
  • the coordinate transformation unit 2523 obtains a corresponding point group between the image I 1 and the image I 0 using a known feature point extraction method, and calculates a planar projective transformation matrix H 1 from the obtained corresponding point group.
  • the corresponding point cloud between image I 1 and image I 0 is, in other words, pairs of corresponding feature points between image I 1 and image I 0 .
  • the coordinate transformation unit 2523 calculates the planar projective transformation matrix H 2 from the image I 2 to the image I 0 by the same method as described above, and uses this planar projective transformation matrix H 1 to convert the position information on the image I 2 Position information P' 2 on the image I 0 corresponding to P 2 is calculated.
  • the coordinate transformation unit 2523 also calculates a planar projective transformation matrix H3 from the image I3 to the image I0 , and uses this planar projective transformation matrix H3 to correspond to the position information P3 on the image I3 .
  • Position information P' 3 on the image I 0 is calculated.
  • the time series of the position information P' 1 , the position information P' 2 , and the position information P' 3 thus calculated is the movement trajectory of the tracking target camera 12 in the image coordinate system.
  • the coordinate transformation unit 2523 has a function of transforming the time series of positions on the image of the camera 12 obtained by the above transformation into a time series of positions in the world coordinate system using the camera calibration information of the camera 12. may have. This is used, for example, when collating the tracked movement trajectory information 245 and the collated movement trajectory information 246 in the world coordinate system.
  • the coordinate transformation unit 2523 may be configured to transform points in the image coordinate system into the three-dimensional world coordinate system.
  • the monitoring unit 253 uses the camera 12 to detect the person being tracked by the camera 11 from among the persons in the monitoring area 13C, and monitors the detected person in the monitoring areas 13C and 13D. configured to track.
  • the monitoring unit 253 includes a matching unit 2531 , a tracking unit 2532 and a coordinate conversion unit 2533 .
  • the matching unit 2531 extracts information on the movement trajectory of each person moving in the monitoring area 13C (matched movement trajectory information) from a plurality of images of the monitoring area 13C continuously captured by the camera 12 set to the reference PTZ value. 246) in the image coordinate system of the camera 12 .
  • the matching unit 2531 is also configured to match the to-be-matched trajectory information 246 with the tracked trajectory information 245 of the person being tracked by the monitoring unit 252 . In addition, based on the result of the matching, the matching unit 2531 determines which of the people photographed by the camera 12 and moving in the monitoring area 13C is the person being tracked by the camera 11. It is configured.
  • the matching unit 2531 matches the latest N frames of each trajectory.
  • N is a predetermined value of 2 or more. Therefore, the matching unit 2531 extracts N entries 2452 in order from the last entry 2452 of the tracked object movement trajectory information 245, and uses the extracted N entries 2452 as the tracked object movement trajectory information. If there are no N entries 2452 in the tracking target movement trajectory information 245, the matching unit 2531 does not perform matching at that point. On the other hand, the matching unit 2531 extracts N entries 2462 in order from the last entry 2462 from each of the one or more to-be-matched movement trajectory information 246, and converts the extracted N entries 2462 to the to-be-matched movement trajectory. information.
  • the collation unit 2531 does not collate the to-be-verified movement trajectory information 246 in which N entries 2462 do not exist at that time.
  • the collation unit 2531 does not perform collation at that time if there is no collated movement trajectory information 246 in which N entries 2462 exist.
  • the collation unit 2531 calculates the matching degree of shape and direction matching between the movement trajectory information of the tracked object and each piece of movement trajectory information to be collated.
  • the matching unit 2531 first normalizes each movement trajectory by the center of gravity in order to eliminate the influence of the absolute position when calculating the matching degree of the shapes.
  • the movement trajectory of the tracked object is obtained by connecting the position information (image coordinate system of the camera 12) in the N entries 2452 constituting the movement trajectory information of the tracked object with line segments in the order of photographing time.
  • the position information (the image coordinate system of the camera 12) in the N entries 2462 constituting the movement trajectory information to be verified is connected by line segments in the order of photographing time to become the movement trajectory to be verified.
  • the collation unit 2531 obtains the error between the positions of the movement trajectories of the tracked object and the object to be collated at the same time by using the method of least squares or the like, and calculates a value that increases as the error decreases as the matching degree of the shape. .
  • the matching unit 2531 calculates a value that increases as the sum of errors between movement vectors at the same time of the movement trajectories of the tracked object and the object to be matched becomes smaller, as the degree of orientation matching. .
  • the matching unit 2531 calculates a matching result from the shape matching degree and orientation matching degree.
  • the collation unit 2531 may obtain a value obtained by multiplying the matching degree of the shape by the matching degree of the orientation as the collation result.
  • the collation unit 2531 may use, for example, a value obtained by adding together the matching degree of the shape and the matching degree of the orientation as the matching result.
  • the above is an example of a method for matching the tracking target trajectory information 245 and the to-be-verified trajectory information 246 in the matching unit 2531 .
  • the matching method is not limited to the above.
  • the collation unit 2531 also considers the image features, movement speed, and acceleration included in the entry 2452 of the tracking target movement trajectory information 245 and the entry 2462 of the to-be-verified movement trajectory information 245, and collates both movement trajectory information. you can
  • the matching unit 2531 compares the tracking target movement trajectory information 245 with one or more to-be-verified movement trajectory information 246, and based on the result, the person moving in the monitoring area 13C photographed by the camera 12 is detected. Among them, it is configured to determine which person is the person being tracked by the camera 11 . For example, if the highest matching result is equal to or greater than a certain threshold, the matching unit 2531 determines that the person associated with the to-be-matched movement trajectory information 246 with the highest matching result is the person being tracked by the camera 11. do. On the other hand, for example, the matching unit 2531 determines that the person being tracked by the camera 11 does not exist among the people photographed by the camera 12 unless the highest matching result is equal to or greater than a certain threshold.
  • the tracking unit 2532 is configured so that the tracking target determined by the matching unit 2531 (the person captured by the camera 12 and being tracked by the camera 11) is tracked by the camera 12 so as to be captured within the shooting range.
  • the tracking unit 2532 changes the PTZ value of the camera 12 to track the tracking target, so even if the tracking target moves from the monitoring area 14C to the monitoring area 13D, the tracking target can be captured within the imaging range.
  • the entry 2452 of the tracked object movement trajectory information 245 is newly generated each time a new image is acquired from the camera 11 .
  • the image data sent from the camera 11 includes, in addition to the image, the PTZ value of the camera 11 when the image was captured. Therefore, the first method of calculating the orientation information is that the monitoring unit 252 calculates the orientation information to be set in the entry based on the pan value and tilt value in the PTZ values added to the acquired image. be.
  • a second method of calculating the posture information is that the monitoring unit 252 calculates the motion vector of the entire image from each of the plurality of images acquired from the camera 11, and calculates the posture information of the camera 11 based on the calculated motion vector. is to calculate
  • the monitoring unit 252 may use any method to calculate the motion vector of the entire image. For example, the monitoring unit 252 may obtain a group of corresponding points between images based on a plurality of feature points obtained by existing feature point extraction, and may calculate a motion vector of the entire image based on the group of corresponding points thus obtained. .
  • the monitoring unit 252 may obtain a group of corresponding points between the images based on each grid point obtained by dividing the entire image into a mesh, and may calculate a motion vector of the entire image based on the obtained group of corresponding points.
  • the frame interval between two images for which motion vectors are calculated may be 1, 2, or 3 or more.
  • This second method is a method of calculating a change in hardware-like camera attitude on a pseudo-image basis.
  • control device 20 Next, the operation of the control device 20 will be explained. First, camera calibration performed before system operation will be described.
  • the calibration unit 251 of the control device 20 calibrates the cameras 11 and 12 at any time before system operation, such as when the cameras 11 and 12 are installed.
  • the calibration unit 251 first adjusts the PTZ value of the camera 11 so that the entire surveillance area 13A can be photographed.
  • the calibration unit 251 calculates camera calibration information of the camera 11 using a predetermined camera calibration method through interactive processing with the operator through the operation input unit 22 and the screen display unit 23 .
  • the calibration unit 251 stores the calculated camera calibration information in the storage unit 24 as camera calibration information 242-1.
  • the calibration unit 251 acquires the PTZ value of the camera 11 at the time of calibration as the reference PTZ value.
  • the calibration unit 251 acquires an image of the area 13A captured by the camera 11 set to the reference PTZ value as a reference image.
  • the calibration unit 251 adds a reference PTZ value to the obtained reference image and stores it in the storage unit 24 as a reference image 243-1.
  • the calibration unit 251 first adjusts the PTZ value of the camera 12 so that the entire monitoring area 13C (common area with the camera 11) can be photographed.
  • the calibration unit 251 calculates camera calibration information of the camera 12 using a predetermined camera calibration method through interactive processing with the operator through the operation input unit 22 and the screen display unit 23 .
  • the calibration unit 251 stores the calculated camera calibration information in the storage unit 24 as camera calibration information 242-2.
  • the calibration unit 251 acquires the PTZ value of the camera 12 at the time of calibration as the reference PTZ value.
  • the calibration unit 251 acquires an image of the area 15 captured by the camera 12 set to the reference PTZ value as a reference image.
  • the calibration unit 251 adds a reference PTZ value to the obtained reference image and stores it in the storage unit 24 as a reference image 243-2.
  • FIG. 6 is a flowchart showing an example of tracking processing performed using the camera 11. As shown in FIG. The tracking process performed by the control device 20 using the camera 11 will be described below with reference to FIG.
  • the detection unit 2521 in the monitoring unit 252 of the control device 20 initializes (step S11). In this initialization, the detection unit 2521 sets the camera 11 to the reference PTZ value. Further, the detection unit 2521 clears all entries of the tracked object movement trajectory information 245 in the initialization. Next, the detection unit 2521 acquires an image of the surveillance area 13A captured by the camera 11 set to the reference PTZ value, saves it in the image DB 244-1, and displays it on the screen display unit 23 (step S12). Next, the detection unit 2521 detects all persons from the image saved this time using various techniques such as pattern recognition and machine learning (step S13). Next, the detection unit 2521 displays the detection result on the screen display unit 23 (step S14).
  • the detection unit 2521 generates an image in which the circumscribed rectangle for each person detected from the image is superimposed on the image, and displays the image on the screen display unit 23 .
  • the detection unit 2521 determines whether or not a person to be tracked has been designated by the operation input unit 22 (step S15). For example, the operator can specify a person to be tracked by performing an operation such as clicking a rectangle of the person on the image of the camera 11 displayed on the screen display unit 23 . If the person to be tracked is not specified, the detection unit 2521 returns to step S12 and repeats the same processing as described above. On the other hand, when a person to be tracked is designated, the detection unit 2521 updates the tracked object movement trajectory information 245 (step S16).
  • the detection unit 2521 sets the ID assigned to the tracked person specified by the operator and the camera ID of the camera 11 in the entry 2451 when updating the tracked object movement trajectory information 245 in step S16. Further, the detection unit 2521 secures one empty entry 2452 and sets association information to the secured entries 2452 and 2451 , thereby mutually relating the secured entries 2452 and 2451 . Next, the detection unit 2521 focuses on the secured entry 2452, and sets the shooting time, person area, posture information, position information (image coordinate system of the camera 11), and image features to the focused entry 2452, and sets the position information. (the image coordinate system of the camera 12), the movement vector, the movement speed, and the acceleration are NULL values.
  • step S17 the coordinate transformation unit 2523 of the monitoring unit 252 performs coordinate transformation on the noted entry 2452 of the tracked object movement trajectory information 245 (step S17).
  • step S17 the coordinate transformation unit 2523 first calculates a planar projective transformation matrix from the image corresponding to the focused entry 2452 to the reference image of the camera 12, as described with reference to FIG.
  • the coordinate transformation unit 2523 uses the calculated planar projective transformation matrix to determine the position of the image coordinate system of the camera 12 corresponding to the position information (the image coordinate system of the camera 11) set in the entry of interest 2452. Calculate information.
  • the coordinate conversion unit 2523 sets the position information (the image coordinate system of the camera 12) obtained by the above calculation in the focused entry 25452.
  • step S17 the coordinate conversion unit 2523 further converts the position information (the image coordinate system of the camera 12) into position information in the world coordinate system using the camera calibration information 242-2. may be added to
  • the tracking unit 2522 of the monitoring unit 252 performs tracking control (step S18). For example, the tracking unit 2522 generates a command for controlling the PTZ value of the camera 11 according to the position information (the image coordinate system of the camera 11) set in the focused entry 2452, Transmit to camera 11 . At this time, for example, the tracking unit 2522 pans and tilts so that the center of gravity of the circumscribing rectangle of the person to be tracked represented by the position information (the image coordinate system of the camera 11) of the focused entry 2452 is displayed at the center of the image. , and zooming may be adjusted so that the entire circumscribing rectangle is within a predetermined angle of view. The camera 11 changes the imaging range by changing the pan, tilt, and zoom in response to the above command.
  • the tracking unit 2522 acquires an image captured by the camera 11 set to the changed PTZ value, saves it in the image DB 243-1, and displays it on the screen display unit 23 (step S19).
  • the tracking unit 2522 uses various techniques such as pattern recognition and machine learning to detect the person to be tracked from the image saved this time (step S20), and superimposes the circumscribed rectangle of the detected person on the image.
  • the resulting image is generated and displayed on the screen display unit 23 (step S21). Thereby, the operator can confirm the tracking status of the person specified on the image displayed on the screen display section 23 in real time.
  • the tracking unit 2522 updates the tracked object movement trajectory information 245 (step S22).
  • the tracking unit 2522 first secures one empty entry 2452, and after setting the association information between this secured empty entry 2452 and the focused entry 2452, Attention is shifted to the reserved free entry 2452 .
  • the tracking unit 2522 sets the photographing time, the human area, the orientation information, the position information (the image coordinate system of the camera 11), and the image feature to the entry 2452 of interest newly, and sets the position information (the image coordinate system of the camera 12). system), movement vector, movement velocity, and acceleration are NULL values.
  • the coordinate conversion unit 2523 of the monitoring unit 252 converts the position information (image coordinate system of the camera 11) set in the focused entry 2452 into position information in the image coordinate system of the camera 12 (step S23).
  • the image corresponding to the interested entry 2452 may have been captured by the camera 11 set to a different PTZ value than the previous image. Therefore, as described with reference to FIG. 5, the coordinate transformation unit 2523 first calculates a planar projective transformation matrix from the image corresponding to the focused entry 2452 to the reference image of the camera 12 .
  • the coordinate transformation unit 2523 uses the calculated planar projective transformation matrix to determine the position of the image coordinate system of the camera 12 corresponding to the position information (the image coordinate system of the camera 11) set in the entry of interest 2452. Calculate information.
  • the coordinate conversion unit 2523 sets the position information (the image coordinate system of the camera 12) obtained by the above calculation in the focused entry 25452.
  • the coordinate conversion unit 2523 calculates the movement vector, the movement speed, and the acceleration based on the position information (the image coordinate system of the camera 12) of the entry 2452 of interest and the entry 2452 preceding it, and Set in entry 2452.
  • the coordinate conversion unit 2523 further converts the position information (the image coordinate system of the camera 12) into position information in the world coordinate system using the camera calibration information 242-2, and converts the current entry 25452. may be added to
  • the tracking unit 2522 of the monitoring unit 252 determines whether or not to end tracking (step S24). For example, the tracking unit 2522 may determine to end tracking when it detects that the person to be tracked is no longer present in the monitoring areas 13A, 13B, and 13C. Alternatively, the tracking unit 2522 may end tracking when it detects that the person to be tracked cannot be tracked by the camera 11 . If the tracking unit 2522 does not determine to end the tracking, it returns to step S18 and repeats the same processing as described above. As a result, the tracking of the tracked person by the camera 11 is continued, and the tracked object movement trajectory information 245 is further updated accordingly.
  • the tracking unit 2522 determines whether or not to end monitoring (step S25). For example, the tracking unit 2522 determines to end the monitoring when the operator inputs a monitoring end command through the operation input unit 22 . If it is not determined to end the monitoring, the monitoring unit 252 returns to step S11 and repeats the same processing as described above. When it is determined to end the monitoring, the monitoring unit 252 ends the processing shown in FIG.
  • FIG. 7 is a flowchart showing an example of tracking processing performed using the camera 12.
  • FIG. 7 The tracking process performed by the control device 20 using the camera 12 will be described below with reference to FIG.
  • the matching unit 2531 in the monitoring unit 253 of the control device 20 initializes (step S31).
  • the matching unit 2531 sets the camera 12 to the reference PTZ value.
  • the collation unit 2531 clears all entries of the collated movement trajectory information 246 in the initialization.
  • the matching unit 2531 acquires an image of the monitoring area 13C captured by the camera 12 set to the reference PTZ value, saves it in the image DB 244-2, and displays it on the screen display unit 23 (step S32).
  • the matching unit 2531 detects all persons from the image saved this time using various techniques such as pattern recognition and machine learning (step S33).
  • the matching unit 2531 displays the detection result on the screen display unit 23 (step S34).
  • the collation unit 2531 updates the collated movement trajectory information 245 based on the detection result of the person (step S35). Since all the persons detected from the image of the camera 12 first acquired after the initialization are the persons detected for the first time, the collation unit 2531, in step S35, creates one to-be-identified movement trajectory information for each detected person. 246 are assigned, and the following processing is performed for each of the assigned collated movement trajectory information 246 .
  • the collation unit 2531 sets the person ID assigned to the detected person and the camera ID of the camera 12 in the entry 2461 of the movement trajectory information 246 to be collated.
  • the collating unit 2531 secures one free entry 2462, sets information for correlating the secured free entry 2462 and the entry 2461, and then focuses on the secured free entry 2462.
  • the matching unit 2531 sets the photographing time, human area, posture information, position information (image coordinate system of the camera 12), and image features in the focused entry 2462, and sets the movement vector, movement velocity, and acceleration as NULL values. do.
  • the coordinate conversion unit 2533 of the monitoring unit 253 performs the following processing on the focused entry 2462 (step S36).
  • the coordinate conversion unit 2533 uses the camera calibration information 442-2 to convert the position information (the image coordinate system of the camera 12) set in the focused entry 2462 into position information in the world coordinate system.
  • the coordinate transformation unit 2533 newly adds and sets the position information of the world coordinate system obtained by the above transformation to the entry 2462 under consideration as the position information (world coordinate system).
  • the collating unit 2531 of the monitoring unit 253 collates the tracked trajectory information 245 with one or more pieces of collated trajectory information 246 (step S37). This collation is performed in the image coordinate system of the camera 12 between the movement trajectory of the tracked object and the movement trajectory to be collated, but may be performed in the world coordinate system.
  • the collation unit 2531 determines which of the persons photographed by the camera 12 and moving in the monitoring area 13C is the person being tracked by the camera 11 by this collation.
  • the matching unit 2531 determines whether or not the person being tracked by the camera 11 has been successfully detected (step S38). If the detection is not successful, the matching unit 2531 returns to step S32 and repeats the same processing as described above. On the other hand, if the above detection is successful, the matching unit 2531 transmits the person ID of the person determined to be the person being tracked by the camera 11 to the tracking unit 2532 .
  • the tracking unit 2532 focuses on the last entry 2462 of the to-be-matched movement trajectory information 246 in which the person ID received from the matching unit 2532 is set in the entry 2461, and uses the camera 12 to track the tracking target person. For example, the tracking unit 2532 generates a command for controlling the PTZ value of the camera 12 according to the position information (image coordinate system) set in the focused entry 2462, and sends the command to the camera 12 through the communication I/F unit 21. send to. At this time, for example, the tracking unit 2532 pans and tilts so that the center of gravity of the circumscribing rectangle of the person to be tracked represented by the position information (image coordinate system of the camera 12) of the focused entry 2462 is displayed at the center of the image.
  • step S39 the tracking unit 2532 acquires an image captured by the camera 12 after changing the PTZ, and performs processing such as detection of a person to be tracked and monitor display on the screen display unit 23.
  • the tracking unit 2532 determines whether or not to end tracking (step S40). For example, the tracking unit 2532 may determine to end tracking when it detects that the person to be tracked no longer exists in the monitoring areas 13C and 13D. Alternatively, the tracking unit 2532 may end tracking when it detects that the person to be tracked cannot be tracked by the camera 12 . If the tracking unit 2532 does not determine to end tracking, it returns to step S38 and repeats the same processing as described above. As a result, the tracking of the person to be tracked by the camera 12 is continued.
  • the tracking unit 2532 determines whether to end monitoring (step S41). For example, the tracking unit 2532 determines to end the monitoring when the operator inputs a monitoring end command through the operation input unit 22 . If it is not determined to end the monitoring, the monitoring unit 253 returns to step S31 and repeats the same processing as described above. If it is determined to end the monitoring, the monitoring unit 253 ends the processing shown in FIG.
  • the tracking unit 2522 captures a moving tracking target person from a plurality of images captured continuously while tracking the camera 11 having a tracking function that captures the moving tracking target person within the shooting range.
  • Position information (the image coordinate system of the camera 11) is acquired, and each entry 2452 of the tracking target movement trajectory information 245 is calculated.
  • the coordinate transformation unit 2523 calculates a planar projective transformation matrix from the image corresponding to each entry 2452 obtained by shooting with the camera 11 to the reference image of the camera 12, and uses this computed planar projective transformation matrix.
  • the position information (camera 11 image coordinate system) of each entry 2452 of the tracking target movement locus information 245 is converted into position information of the camera 12 image coordinate system.
  • the planar projective transformation matrix can be calculated without manual intervention unlike the camera calibration information. Therefore, according to the present embodiment, while tracking a person with the camera 11 having a tracking function that captures a moving person within an imaging range, movement trajectory information, which is time-series position information of the person in the image coordinate system of the camera 12, is obtained. can be calculated. As a result, the moving trajectory of a person can be collated in real time between the cameras 11 and 12, and the moving object can be automatically collated between the PTZ cameras.
  • a computer may be mounted on the camera 11, and all or part of the functions of the monitoring unit 252 may be mounted on the computer.
  • a computer may be installed in the camera 12, and all or part of the functions of the monitoring section 253 may be installed on the computer.
  • the camera 11 and a computer connected to the camera 12 via a network may be configured to include the operation input unit 22, the screen display unit 23, and the storage unit 24.
  • the present invention may be applied to systems that detect and track people in places other than aisles, such as stores, factories, station platforms, grounds, and gymnasiums.
  • the object to be detected and tracked by the present invention may be any moving object other than a person, such as an animal, an automobile, or a walking robot.
  • the cameras that share part of the camera field of view used in the present invention are not limited to the two cameras 11 and 12, and may be three or more cameras.
  • the movement trajectory information processing device 30 includes calculation means 31 and conversion means 32 .
  • the calculation means 31 calculates position information of the moving object on the image and orientation information of the camera from a plurality of images continuously photographed by a camera that captures the moving object in the photographed images. It is configured to calculate certain trajectory information.
  • the calculation means 31 can be configured, for example, in the same manner as the tracking section 2522 in FIG. 2, but is not limited thereto.
  • the conversion means 32 calculates a planar projective transformation matrix from the image to a predetermined image, and uses the calculated planar projective transformation matrix to transform the movement trajectory information into a time series of the position information of the object on the predetermined image. is configured to be converted into movement trajectory information.
  • the conversion means 32 can be configured, for example, in the same manner as the coordinate conversion section 2523 in FIG. 2, but is not limited thereto.
  • the movement trajectory information processing device 30 configured as described above operates as follows. That is, the calculation means 31 calculates the position information of the moving object on the image and the attitude information of the camera from a plurality of images of the object continuously photographed by a camera that captures the moving object in the photographed images. Moving trajectory information, which is a series, is calculated. Next, the transforming means 32 calculates a planar projective transformation matrix from the image to a predetermined image, and converts the movement trajectory information into the positional information of the object on the predetermined image using the calculated planar projective transformation matrix. is converted into movement trajectory information that is a time series of
  • the movement trajectory information of the object is obtained from a plurality of images of the object continuously photographed by the camera that captures the moving object within the photographing range. can be calculated.
  • the reason is that the planar projective transformation matrix can be calculated without manual intervention unlike the camera calibration information.
  • the movement trajectory of an object calculated by the present invention may be used for the purposes of personal authentication, abnormal behavior detection, etc. based on the movement trajectory, in addition to monitoring and tracking.
  • the camera used in the present invention does not necessarily have a tracking function. For example, the photographer manually changes the orientation of the camera so that the moving object is captured within the shooting range.
  • the present invention can also be applied when
  • It can be used for systems that detect and track objects from multiple images that are continuously captured by a camera such as a PTZ camera that captures moving objects within the shooting range.
  • Moving trajectory information which is a time series of the position information of the moving object on the image and the orientation information of the camera, from a plurality of images continuously taken of the moving object by a camera that captures the moving object in the captured images.
  • a calculating means for calculating; calculating a planar projective transformation matrix from the image to a predetermined image, and using the calculated planar projective transformation matrix to convert the movement trajectory information into movement trajectory information, which is a time series of positional information of the object on the predetermined image; a conversion means for converting to A movement trajectory information processing device comprising: [Appendix 2] The calculation means calculates a motion vector of the entire image from each of the plurality of images, and calculates a time series of the posture information of the camera based on the calculated motion vector.
  • the movement trajectory information processing device according to appendix 1.
  • the predetermined image is an image captured by another camera installed so that a part of the camera field of view overlaps with the camera. 3.
  • the movement trajectory information processing device according to appendix 1 or 2.
  • Appendix 4 A time series of positional information of the object to be matched on the predetermined image calculated from the movement trajectory information obtained by the conversion by the conversion means and a plurality of images continuously photographed by the other camera. Further comprising a matching means for matching with other movement trajectory information, The movement trajectory information processing device according to appendix 3.
  • Appendix 5 wherein the camera is a PTZ camera; 5.
  • the movement trajectory information processing apparatus according to any one of Appendices 1 to 4.
  • Moving trajectory information which is a time series of the position information of the moving object on the image and the orientation information of the camera, from a plurality of images continuously taken of the moving object by a camera that captures the moving object in the captured images. calculate, calculating a planar projective transformation matrix from the image to a predetermined image; converting the movement trajectory information into movement trajectory information that is a time series of positional information of the object on the predetermined image using the calculated planar projective transformation matrix; A moving trajectory information processing method.
  • a motion vector of the entire image is calculated from each of the plurality of images, and the time series of the posture information of the camera is calculated based on the calculated motion vector.
  • the movement trajectory information processing method according to appendix 6 is an image captured by another camera installed so that a part of the camera field of view overlaps with the camera.
  • Appendix 9 Further, a time series of positional information of the object to be matched on the predetermined image calculated from the moving trajectory information obtained by the conversion and a plurality of images continuously photographed by the other camera collating with movement trajectory information; The movement trajectory information processing method according to appendix 8.
  • Moving trajectory information which is a time series of the position information of the moving object on the image and the attitude information of the camera, from a plurality of images continuously taken of the moving object by a camera that captures the moving object in the captured images.
  • a process of calculating A process of calculating a planar projective transformation matrix from the image to a predetermined image; a process of converting the movement trajectory information into movement trajectory information that is a time series of positional information of the object on the predetermined image using the calculated planar projective transformation matrix;
  • a computer-readable recording medium that records a program for performing
  • tracking system 11 10 tracking system 11, 12 PTZ cameras 13A to 13D surveillance area 20 control device 21 communication I/F section 22 operation input section 23 screen display section 24 storage section 25 arithmetic processing section 30 movement trajectory information processing device 31 calculation means 32 conversion means 241 Programs 242-1, 242-2 Camera calibration information 243-1, 243-2 Reference images 244-1, 244-2 Image DB 245 tracking target movement trajectory information 246 to-be-verified movement trajectory information 251 camera calibration units 252, 253 monitoring unit 2521 detection units 2522, 2532 tracking units 2523, 2533 coordinate conversion unit 2531 matching unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

移動軌跡情報処理装置は、算出手段と変換手段とを備える。算出手段は、移動する対象物を撮影画像内に捉えるカメラで前記対象物を連続して撮影された複数の画像から前記対象物の画像上の位置情報と前記カメラの姿勢情報の時系列である移動軌跡情報を算出する。変換手段は、前記画像から所定画像への平面射影変換行列を算出し、該算出された平面射影変換行列を用いて前記移動軌跡情報を前記対象物の前記所定画像上の位置情報の時系列である移動軌跡情報に変換する。

Description

移動軌跡情報処理装置、移動軌跡情報処理方法、および記録媒体
　本発明は、移動軌跡情報処理装置、移動軌跡情報処理方法、および記録媒体に関する。
　移動軌跡情報を算出する従来装置の一例が特許文献１に記載されている。従来装置は、カメラのパン値・チルト値・ズーム値（ＰＴＺ値）を固定した状態で、移動する人物などの移動体を連続して撮影する。また、従来装置は、それぞれの撮影時に、カメラで撮影されて得られた画像中から移動体の位置を抽出し、カメラ校正情報（内部パラメータおよび外部パラメータ）を用いて、対象物の画像上の座標値を実空間上の座標値に変換する。従来装置は、上記のようにして得られた移動体の実空間上の位置の時系列を移動軌跡情報とする。
ＷＯ２０１４／０１０１７４
　ＰＴＺ値を固定したカメラでは、カメラの視野は限られる。そのため、より広い範囲を監視する目的でＰＴＺ値を変更して移動する対象物を撮像範囲に捉えながらカメラで連続して撮影された複数の画像から対象物の移動軌跡情報を算出することが重要である。しかし、カメラのＰＴＺ値が変化すると、そのカメラのカメラ校正情報が変化する。また、変化後のＰＴＺ値に対応するカメラ校正情報を取得するためにはオペレータによる校正作業が必要になる。そのため、連続して撮影された複数の画像のそれぞれからカメラ校正情報を用いて対象物の画像上の座標値を実空間上の座標値に直接に変換する従来装置では、移動する対象物を撮像範囲に捉えるカメラで対象物を連続して撮影された複数の画像から移動軌跡情報を算出するのは困難であった。
　本発明は、上述した課題を解決する移動軌跡情報処理装置を提供することにある。
　本発明の一形態に係る移動軌跡情報処理装置は、
　移動する対象物を撮影画像内に捉えるカメラで前記対象物を連続して撮影された複数の画像から前記対象物の画像上の位置情報と前記カメラの姿勢情報の時系列である移動軌跡情報を算出する算出手段と、
　前記画像から所定画像への平面射影変換行列を算出し、該算出された平面射影変換行列を用いて前記移動軌跡情報を前記対象物の前記所定画像上の位置情報の時系列である移動軌跡情報に変換する変換手段と、
を備える移動軌跡情報処理装置。
ように構成されている。
　本発明の他の形態に係る移動軌跡情報処理方法は、
　移動する対象物を撮影画像内に捉えるカメラで前記対象物を連続して撮影された複数の画像から前記対象物の画像上の位置情報と前記カメラの姿勢情報の時系列である移動軌跡情報を算出し、
　前記画像から所定画像への平面射影変換行列を算出し、
　該算出された平面射影変換行列を用いて前記移動軌跡情報を前記対象物の前記所定画像上の位置情報の時系列である移動軌跡情報に変換する、
ように構成されている。
　本発明の他の形態に係るコンピュータ読み取り可能な記録媒体は、
　コンピュータに、
　移動する対象物を撮影画像内に捉えるカメラで前記対象物を連続して撮影された複数の画像から前記対象物の画像上の位置情報と前記カメラの姿勢情報の時系列である移動軌跡情報を算出する処理と、
　前記画像から所定画像への平面射影変換行列を算出する処理と、
　該算出された平面射影変換行列を用いて前記移動軌跡情報を前記対象物の前記所定画像上の位置情報の時系列である移動軌跡情報に変換する処理と、
を行わせるためのプログラムを記録するように構成されている。
　本発明は、上述した構成を有することにより、移動する対象物を撮影範囲内に捉えるカメラで対象物を連続して撮影された複数の画像から対象物の移動軌跡情報を算出することができる。
本発明の一実施形態に係る追跡システムの構成例を示す模式図である。 本発明の一実施形態に係る追跡システムにおける制御装置の一例を示すブロック図である。 本発明の一実施形態に係る追跡システムにおける制御装置で使用する追跡対象移動軌跡情報の一例を示す図である。 本発明の一実施形態に係る追跡システムにおける制御装置で使用する被照合移動軌跡情報の一例を示す図である。 本発明の一実施形態に係る追跡システムにおける制御装置において、画像上の位置情報を画像座標系から世界座標系に変換する方法の一例を説明するための模式図である。 本発明の一実施形態に係る追跡システムにおける制御装置が一方のカメラを用いて行う追跡処理の一例を示すフローチャートである。 本発明の一実施形態に係る追跡システムにおける制御装置が他方のカメラを用いて行う追跡処理の一例を示すフローチャートである。 本発明に係る移動軌跡情報処理装置の一実施形態のブロック図である。
　次に、本発明の実施の形態について、図面を参照して詳細に説明する。なお、明細書中の記載において、「追跡」と「追尾」の同様の意味を持った記載が併存するが、「追跡」は主として人との関わりの強い部分での構成を、「追尾」は主として装置との関わりの強い部分での構成を、それぞれ説明するために便宜上使い分けているに過ぎない。
［第１の実施の形態］
　まず本発明の第１の実施形態について、理解を容易にするため、本発明の第１の実施形態が想定する課題について説明する。
　監視カメラの画像から人物を検出し、追跡（ｔｒａｃｋｉｎｇ）を行うことは、防犯やマーケティング等に役立つ。ＰＴＺ値を固定したカメラでは、カメラの視野は限られる。カメラのＰＴＺ値を変更することにより、カメラの視野を拡大することができる。しかし、それでも１台のカメラの視野には限界がある。そのため、複数台のＰＴＺカメラをカメラ視野の一部を共通にして監視エリアに分散して設置し、空間的・時間的により広範囲に人物を追跡するシステムを考える。このような追跡システムでは、何れかのカメラで追尾（ｔｒａｃｉｎｇ）している人物が別のカメラの視野に入ったことをシステムが自動的に認識し、当該別のカメラがその人物の追尾を開始できるとよい。カメラの視野に存在する多くの人物の中から、追尾を引き継ぐべき人物を決定するために、人物の移動軌跡を利用することができる。即ち、一方のカメラで追尾している人物の移動軌跡の情報（追跡対象移動軌跡情報）と他方のカメラの視野内の人物の移動軌跡の情報（被照合移動軌跡情報）とを照合することによって、追尾対象を決定する。このような照合を行うためには、追跡対象移動軌跡情報と被照合移動軌跡情報とが同一の座標系で表現されている必要がある。
　一般に、カメラで撮影して得られた人物の位置を表現する座標系には、個々のカメラで固有な画像座標系およびカメラ座標系と、複数のカメラで共通な世界座標系とがある。画像座標系は、撮像素子上の２次元座標系であり、画像上の点の位置は、通常、この画像座標系で表される。カメラ座標系は、画像座標系とカメラの内部パラメータとによって定まる座標系である。従って、カメラの画像座標系とそのカメラのカメラ座標系とは、そのカメラの内部パラメータを用いて、相互に変換できる。世界座標系は、カメラの内部パラメータおよび外部パラメータから構成されるカメラ校正情報と画像座標系とによって定まる座標系である。従って、カメラの画像座標系と世界座標系とは、そのカメラのカメラ校正情報を用いて、相互に変換できる。
　従来装置は、撮影されて得られた画像中から人物の位置を画像座標系で抽出し、カメラ校正情報を用いて、抽出した人物の画像座標系の座標値を世界座標系の座標値に変換する。しかし、人物を追尾するためにカメラのＰＴＺ値を変化させると、カメラ校正情報が変化する。また、変化後のＰＴＺ値に対応するカメラ校正情報をリアルタイムに取得することは困難である。そのため、従来装置では、移動する対象物を撮影範囲内に捉える追尾機能を有するカメラで対象物を追尾しながら移動軌跡情報を算出するのは困難であった。その結果、複数のＰＴＺカメラ間で人物の移動軌跡をリアルタイムに照合することが困難であった。
　本実施形態は、上記課題を解決する。以下、本発明を適用した一実施形態に係る追跡システム１０について、図面を参照して詳細に説明する。
　図１は、本発明の一実施形態に係る追跡システム１０の構成例を示す模式図である。図１を参照すると、追跡システム１０は、通路上の人物を検出し、追跡するシステムであり、２台のＰＴＺカメラ１１、１２と、制御装置２０とを含んで構成されている。
　ＰＴＺカメラ（以下、単にカメラと記す）１１、１２は、ＣＭＯＳセンサやＣＣＤセンサなどの固体撮像装置と雲台とを含む。カメラ１１、１２は、制御装置２０からの指令に従って、例えば一定の周期で撮影範囲を連続して撮影することにより複数の画像を生成する。カメラ１１とカメラ１２の撮影周期と撮影タイミングは同じか類似していることが好ましいが、異なっていてもよい。カメラ１１、１２は、制御装置２０からの指令に従って、パン、チルト、ズームを変化させることで撮影範囲を変更することができる。ここで、パンはカメラの向きを左右に振ること、チルトはカメラの向きを上下に振ること、ズームは画角を望遠または広角に変化させることを、それぞれ意味する。カメラ１１、１２は、その撮影範囲の一部が共通するように監視エリアに分散して設置される。図１に示す例では、カメラ１１は、紙面の左右方向に延びる通路上に設定された監視エリア１３Ａ、１３Ｂ、１３Ｃを監視している。また、カメラ１２は、監視エリア１３Ｃと紙面の上下方向に延びる通路上に設定された監視エリア１３Ｄとを監視している。監視エリア１３Ｃは通路の曲がり角の部分に相当する。即ち、通路の曲がり角のエリアが、２台のカメラ１１、１２で共通する監視エリア１３Ｃとなっている。なお、通路上では、人物は、紙面左側の方向から入ってきて、通路の曲がり角を通り、紙面下側の方向から出ていくものとする。また、監視エリア１３Ａ～１３Ｄは平坦な面とする。
　制御装置２０は、カメラ１１、１２と有線または無線により接続されている。制御装置２０は、カメラ１１、１２の設置時に各カメラのカメラ校正情報（内部パラメータと外部パラメータ）を算出する。このカメラ校正情報の算出は、カメラ１１、１２のＰＴＺ値をそれぞれのカメラの基準ＰＴＺに設定して行われる。例えば、カメラ１１の基準ＰＴＺは、監視エリア１３Ａ内に居る人物を撮影できるカメラ視野となるように設定されている。また、カメラ１２の基準ＰＴＺは、監視エリア１３Ｃ内に居る人物を撮影できるカメラ視野となるように設定されている。制御装置２０は、基準ＰＴＺに固定したカメラ１１で連続して撮影された画像を画面表示部にモニタ表示する。オペレータがモニタ表示された画像上において追跡したい人物を指定すると、制御装置２０は、カメラ１１のＰＴＺ値を変更しながら当該指定された人物を追尾する。そして、制御装置２０は、追尾している人物の移動軌跡の情報（追跡対象移動軌跡情報）をカメラ１２の画像座標系でリアルタイムに算出する。
　一方、制御装置２０は、基準ＰＴＺに固定したカメラ１２で連続して撮影された画像に基づいて、監視エリア１３Ｃ内に居る全ての人物の移動軌跡の情報（被照合移動軌跡情報）をカメラ１２の画像座標系でリアルタイムに算出する。そして、制御装置２０は、カメラ１１で追尾している人物の追跡対象移動軌跡情報とカメラ１２に写っている全ての人物の被照合移動軌跡情報とをリアルタイムで照合する。これにより、制御装置２０は、カメラ１１で追尾している人物がカメラ１２に写っているどの人物であるかを決定する。次に、制御装置２０は、上記決定した人物をカメラ１２の撮影範囲に捉えながらカメラ１２で追尾を続け、その画像を画面表示部にモニタ表示する。
　以上が追跡システム１０の概要である。続いて、制御装置２０について詳細に説明する。
　図２は、制御装置２０の一例を示すブロック図である。図２を参照すると、制御装置２０は、通信Ｉ／Ｆ（インターフェース）部２１と、操作入力部２２と、画面表示部２３と、記憶部２４と、演算処理部２５とを備える。
　通信Ｉ／Ｆ部２１は、データ通信回路から構成され、有線または無線によりカメラ１１、１２、および図示しない他の外部装置との間でデータ通信を行うように構成されている。操作入力部２２は、キーボードやマウスなどの操作入力装置から構成され、オペレータの操作を検出して演算処理部２５に出力するように構成されている。画面表示部２３は、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ：液晶ディスプレイ）などの表示装置から構成され、カメラ１１、１２で撮影されて得られた画像などを表示するように構成されている。
　記憶部２４は、ハードディスクやメモリなどの１種類あるいは多種類の１以上の記憶装置から構成され、演算処理部２５における各種処理に必要な処理情報およびプログラム２４１を記憶するように構成されている。プログラム２４１は、演算処理部２５に読み込まれて実行されることにより各種処理部を実現するプログラムであり、通信Ｉ／Ｆ部２１などのデータ入出力機能を介して図示しない外部装置や記録媒体から予め読み込まれて記憶部２４に保存される。記憶部２４に記憶される主な処理情報には、カメラ校正情報２４２－１、２４２－２、基準画像２４３－１、２４３－２、画像ＤＢ（データベース）２４４－１、２４４－２、追跡対象移動軌跡情報２４５、被照合移動軌跡情報２４６がある。
　カメラ校正情報２４２－１は、カメラ１１のカメラ校正情報（カメラ１１の内部パラメータおよび外部パラメータ）である。カメラ校正情報２４２－２は、カメラ１２のカメラ校正情報（カメラ１２の内部パラメータおよび外部パラメータ）である。
　基準画像２４３－１は、カメラ校正情報２４２－１を求めた際のパン値、チルト値、および、ズーム値に設定したカメラ１１によって撮影された監視エリア１３Ａの画像である。基準画像２４３－１は、画像以外に、基準画像撮影時のカメラ１１のパン値、チルト値、および、ズーム値（カメラ１１の基準ＰＴＺ値）、カメラ位置（カメラ１１の世界座標系における位置）が含まれる。また、基準画像２４３－２は、カメラ校正情報２４２－２を求めた際のパン値、チルト値、および、ズーム値に設定したカメラ１２によって撮影された監視エリア１３Ｃの画像である。基準画像２４３－２は、画像以外に、基準画像撮影時のパン値、チルト値、および、ズーム値（カメラ１２の基準ＰＴＺ値）、カメラ位置（カメラ１１の世界座標系における位置）が含まれる。
　画像ＤＢ２４４－１は、カメラ１１によって撮影された画像の時系列を蓄積する。画像ＤＢ２４４－１に蓄積された個々の画像には、カメラ１１のカメラＩＤと撮影時刻と撮影時のＰＴＺ値が付加されている。即ち、カメラ１１から通信Ｉ／Ｆ部２１を通じて演算処理部２５に送られてくる画像データは、カメラ１１のカメラＩＤ、カメラ１１により撮影された画像、その画像の撮影時の時刻、および、その画像の撮影時のカメラ１１の姿勢情報（パン値、チルト値、ズーム値）が含まれている。画像ＤＢ２４４－２は、カメラ１２によって撮影された画像の時系列を蓄積する。画像ＤＢ２４４－２に蓄積された個々の画像には、カメラ１２のカメラＩＤと撮影時刻と撮影時のＰＴＺ値が付加されている。
　追跡対象移動軌跡情報２４５は、カメラ１１で撮影された画像に基づいて算出された追跡対象人物の移動軌跡に関する情報である。図３は、追跡対象移動軌跡情報２４５の一構成例を示す図である。この例の追跡対象移動軌跡情報２４５は、追跡対象を一意に識別する追跡対象ＩＤとカメラ１１のカメラＩＤと関連付け情報とから構成されるエントリ２４５１と、カメラ１１によって連続して撮影された複数の画像に１対１に対応する複数のエントリ２４５２とから構成される。複数のエントリ２４５２は、エントリ２４５１内の関連付け情報およびエントリ２４５２内の関連付け情報によって、撮影時刻の順に一列に繋げられている。
　個々のエントリ２４５２は、撮影時刻、人物領域、姿勢情報、位置情報（カメラ１１の画像座標系）、画像特徴、位置情報（カメラ１２の画像座標系）、移動ベクトル、移動速度、加速度、および、関連付け情報とから構成される。撮影時刻は、対応する画像の撮影時刻を表す。人物領域は、例えば対応する画像中の人物領域の外接矩形を表す。姿勢情報は対応する画像を撮影したときのカメラ１１の姿勢を表す。この姿勢情報の取得方法については後述する。位置情報（カメラ１１の画像座標系）は、同じエントリにおける人物領域を代表する１点のカメラ１１の画像座標系における座標値を表す。人物領域を代表する１点は、例えば人物領域の重心が考えられるが、それに限定されず、顔の重心や足元などであってもよい。画像特徴は、対応する画像中の人物領域から抽出された画像の特徴量を表す。画像特徴として、顔の特徴量、服装の特徴量、人物の大きさなどが考えられるが、それに限定されない。位置情報（カメラ１２の画像座標系）は、同じエントリにおける位置情報（カメラ１１の画像座標系）に対応するカメラ１２の画像座標系における位置情報を表す。移動ベクトルは、対応する画像と隣接する画像間における追跡対象人物の移動量と移動方向を表す。移動速度は、追跡対象人物の移動速度を表す。加速度は、追跡対象人物の加速度を表す。移動ベクトル、移動速度、加速度は、例えば、隣接する複数のエントリ２４５２における位置情報（カメラ１２の画像座標系）に基づいて算出される。エントリ２４５２に含まれるデータの種類は一例であり、上記に限定されない。
　被照合移動軌跡情報２４６は、カメラ１２で撮影された画像から抽出された人物の移動軌跡に関する情報である。被照合移動軌跡情報２４６は、カメラ１２で撮影された画像から抽出された人物毎に存在する。図４は、被照合移動軌跡情報２４６の一構成例を示す図である。この例の被照合移動軌跡情報２４６は、人物を一意に識別する人物ＩＤとカメラ１２のカメラＩＤと関連付け情報とから構成されるエントリ２４６１と、カメラ１２によって連続して撮影された複数の画像に１対１に対応する複数のエントリ２４６２とから構成される。複数のエントリ２４６２は、エントリ２４６１内の関連付け情報およびエントリ２４６２内の関連付け情報によって、撮影時刻の順に一列に繋げられている。
　個々のエントリ２４６２は、撮影時刻、人物領域、姿勢情報、位置情報（カメラ１２の画像座標系）、画像特徴、移動ベクトル、移動速度、加速度、および、関連付け情報とから構成される。撮影時刻は、対応する画像の撮影時刻を表す。人物領域は、例えば対応する画像中の人物領域の外接矩形を表す。姿勢情報は対応する画像を撮影したときのカメラ１２の姿勢を表す。位置情報（カメラ１２の画像座標系）は、同じエントリにおける人物領域を代表する１点のカメラ１１の画像座標系における座標値を表す。人物領域を代表する１点は、図３のエントリ２４５２における位置情報（カメラ１１の画像座標系）と同様に定められる。画像特徴は、対応する画像中の人物領域から抽出された画像の特徴量を表す。移動ベクトルは、対応する画像と隣接する画像間における対象人物の移動量と移動方向を表す。移動速度は、対象人物の移動速度を表す。加速度は、対象人物の加速度を表す。移動ベクトル、移動速度、加速度は、例えば、隣接する複数のエントリ２４６２における位置情報（カメラ１２の画像座標系）に基づいて算出される。エントリ２４６２に含まれるデータの種類は一例であり、上記に限定されない。
　演算処理部２５は、ＭＰＵなどの１以上のマイクロプロセッサとその周辺回路を有し、記憶部２４からプログラム２４１を読み込んで実行することにより、上記ハードウェアとプログラム２４１とを協働させて各種処理部を実現するように構成されている。演算処理部２５で実現される主な処理部には、カメラ校正部２５１と２つの監視部２５２、２５３がある。
　カメラ校正部２５１は、操作入力部２２および画面表示部２３を介したオペレータとの対話型処理によりカメラ１１、１２のカメラ校正情報を取得するように構成されている。使用するカメラ校正手法は、特に限定されない。
　監視部２５２は、カメラ１１を用いて監視エリア１３Ａ～１３Ｃ内を移動する人物を検出し、追跡するように構成されている。監視部２５２は、検知部２５２１と追尾部２５２２と座標変換部２５２３とを備える。
　検知部２５２１は、基準ＰＴＺ値に設定したカメラ１１で監視エリア１３Ａを連続して撮影した画像に基づいて、監視エリア１３Ａ内に存在する全ての人物の中から特定の人物を追尾対象として検知するように構成されている。
　追尾部２５２２は、検知部２５２１によって検知された追尾対象をカメラ１１の撮影範囲の所定箇所に捉えるようにカメラ１１で追尾しながら、追尾対象の移動軌跡の情報をカメラ１１の画像座標系で算出し、追尾対象移動軌跡情報２４５として記憶部２４に保存するように構成されている。上記所定箇所は、撮影範囲の中心とすることができるが、それに限定されず、複数の画像で同じであれば撮影範囲の中心以外の箇所であってもよい。追尾部２５２２は、カメラ１１のＰＴＺ値を変更して追尾対象を追尾するため、追尾対象が監視エリア１３Ａから監視エリア１３Ｂや監視エリア１３Ｃへ移動しても、当該追尾対象をカメラ１１の撮影範囲の所定箇所に捉えることができる。
　座標変換部２５２３は、追尾部２５２２によって算出された追尾対象移動軌跡情報２４５のエントリ２４５２における位置情報（カメラ１１の画像座標系）を位置情報（カメラ１２の画像座標系）に変換するように構成されている。
　図５は、位置情報（カメラ１１の画像座標系）を位置情報（カメラ１２の画像座標系）に変換する方法の一例を説明するための模式図である。図５において、画像Ｉ0は、カメラ校正情報２４２－２が算出されたときと同じＰＴＺ値に設定されたカメラ１２で撮影されて得られた画像である。画像Ｉ1、Ｉ2、Ｉ3は、ＰＴＺ値を変更しながら連続して撮影されて得られたカメラ１１の複数の画像である。
　座標変換部２５２３は、画像Ｉ1上の位置情報Ｐ1のカメラ１２の画像座標系への変換では、先ず、画像Ｉ1から画像Ｉ0への平面射影変換行列Ｈ1を算出する。次に、座標変換部２５２３は、上記算出された平面射影変換行列Ｈ1を用いて、画像Ｉ1上の位置情報Ｐ1に対応する画像Ｉ0上の位置情報Ｐ'1を算出する。
　一般に、同じ平面を撮影するカメラ１１からカメラ１２への平面射影変換行列は、カメラ間の並進と回転が分かれば求めることができる。カメラ１１とカメラ１２との間の並進は、カメラ１１およびカメラ１２の設置位置から求めることができる。また、カメラ間の回転は、カメラ１１が画像Ｉ1を撮影したときの姿勢とカメラ１２が画像Ｉ0を撮影したときの姿勢から求めることができる。従って、座標変換部２５２３は、基準画像２４３－１に保存されているカメラ１１の設置位置と、基準画像２４３－２に保存されているカメラ１２の設置位置とを、それぞれ取得してカメラ１１とカメラ１２との間の並進を算出する。また、座標変換部２５２３は、画像Ｉ1に対応するエントリ２４５２に保存されているカメラ１１の姿勢情報と、基準画像２４３－２に保存されているカメラ１２の画像Ｉ0撮影時の姿勢情報とを、それぞれ取得してカメラ１１とカメラ１２との間の回転を算出する。そして、座標変換部２５２３は、こうして取得したカメラ１１とカメラ１２との間の並進と回転とに基づいて平面射影変換行列Ｈ1を算出する。
　なお、平面射影変換行列Ｈ1を算出する方法は上記に限定されない。例えば、座標変換部２５２３は、画像Ｉ1と画像Ｉ0との間の対応点群を既知の特徴点抽出方式を用いて求め、その求めた対応点群から平面射影変換行列Ｈ1を算出してもよい。画像Ｉ1と画像Ｉ0との間の対応点群は、換言すれば、画像Ｉ1と画像Ｉ0との間の対応する複数の特徴点のペアである。
　座標変換部２５２３は、上記と同様の方法により、画像Ｉ2から画像Ｉ0への平面射影変換行列Ｈ2を算出し、この平面射影変換行列Ｈ1を用いて、画像Ｉ2上の位置情報Ｐ2に対応する画像Ｉ0上の位置情報Ｐ'2を算出する。また、座標変換部２５２３は、画像Ｉ3から画像Ｉ0への平面射影変換行列Ｈ3を算出し、この平面射影変換行列Ｈ3を用いて、画像Ｉ3上の位置情報Ｐ3に対応する画像Ｉ0上の位置情報Ｐ'3を算出する。こうして算出された位置情報Ｐ'1、位置情報Ｐ'2、位置情報Ｐ'3の時系列が、追尾対象のカメラ１２の画像座標系における移動軌跡である。
　なお、座標変換部２５２３は、上記変換して得られたカメラ１２の画像上の位置の時系列を、カメラ１２のカメラ校正情報を用いて、世界座標系の位置の時系列に変換する機能を有していてよい。これは、追跡対象移動軌跡情報２４５と被照合移動軌跡情報２４６とを世界座標系で照合するときなどに利用される。ここで、座標変換部２５２３は、世界座標系として、ｚ＝０（即ち、高さ０）となる平面（共通マップ）を使用してよい。画像座標系上の点を３次元の世界座標系へ変換する構成と比較して、２次元の世界座標系への変換は演算量および誤差が減少する。但し、座標変換部２５２３は、画像座標系の点を３次元の世界座標系に変換するように構成されていてもよい。
　再び、図２を参照すると、監視部２５３は、カメラ１２を用いて監視エリア１３Ｃ内に居る人物の中からカメラ１１で追尾中の人物を検出し、この検出した人物を監視エリア１３Ｃ、１３Ｄにおいて追跡するように構成されている。監視部２５３は、照合部２５３１と追尾部２５３２と座標変換部２５３３とを備える。
　照合部２５３１は、基準ＰＴＺ値に設定されたカメラ１２で連続して撮影された監視エリア１３Ｃの複数の画像から、監視エリア１３Ｃ内を移動する人物毎の移動軌跡の情報（被照合移動軌跡情報２４６）をカメラ１２の画像座標系で算出するように構成されている。
　また照合部２５３１は、被照合移動軌跡情報２４６と監視部２５２で追尾中の人物の追跡対象移動軌跡情報２４５とを照合するように構成されている。また、照合部２５３１は、照合の結果に基づいて、カメラ１２で撮影された監視エリア１３Ｃ内を移動する人物のうち、何れの人物がカメラ１１で追尾中の人物であるかを決定するように構成されている。
　照合部２５３１において、追尾対象移動軌跡情報２４５と被照合移動軌跡情報２４６とを照合する方法の一例について説明する。
　先ず、照合部２５３１は、各軌跡の最新Ｎフレーム分を照合対象とする。ここで、Ｎは事前に定められた２以上の所定値である。そのため、照合部２５３１は、追跡対象移動軌跡情報２４５の最後尾のエントリ２４５２から順にＮ個のエントリ２４５２を抽出し、この抽出したＮ個のエントリ２４５２を追跡対象の移動軌跡情報とする。照合部２５３１は、追跡対象移動軌跡情報２４５にＮ個のエントリ２４５２が存在しなければ、その時点での照合は行わない。一方、照合部２５３１は、１以上の被照合移動軌跡情報２４６のそれぞれから、最後尾のエントリ２４６２から順にＮ個のエントリ２４６２を抽出し、この抽出したＮ個のエントリ２４６２を被照合の移動軌跡情報とする。照合部２５３１は、Ｎ個のエントリ２４６２が存在しない被照合移動軌跡情報２４６は、その時点での照合は行わない。照合部２５３１は、Ｎ個のエントリ２４６２が存在する被照合移動軌跡情報２４６が１つも存在しなければ、その時点での照合は行わない。
　次に、照合部２５３１は、追跡対象の移動軌跡情報と個々の被照合の移動軌跡情報との形の合致度と向きの合致度とを算出する。
　照合部２５３１は、形の合致度の算出では、先ず、絶対位置の影響をなくすため、それぞれの移動軌跡を重心で正規化する。ここで、追跡対象の移動軌跡情報を構成するＮ個のエントリ２４５２における位置情報（カメラ１２の画像座標系）を撮影時刻順に線分で繋いだものが追跡対象の移動軌跡になる。また、被照合の移動軌跡情報を構成するＮ個のエントリ２４６２における位置情報（カメラ１２の画像座標系）を撮影時刻順に線分で繋いだものが被照合の移動軌跡になる。次に、照合部２５３１は、追跡対象と被照合それぞれの移動軌跡の同時刻の位置同士の誤差を最小二乗法などで求め、その誤差が小さいほど高くなる値を、形の合致度として算出する。
　また、照合部２５３１は、向きの合致度の算出では、追跡対象と被照合それぞれの移動軌跡の同時刻における移動ベクトル同士の誤差の総和が小さいほど高くなる値を、向きの合致度として算出する。
　次に、照合部２５３１は、形の合致度と向きの合致度とから、照合結果を算出する。例えば、照合部２５３１は、形の合致度と向きの合致度を掛け合わせた値を照合結果としてよい。或いは、照合部２５３１は、例えば、形の合致度と向きの合致度を足し合わせた値を照合結果としてよい。
　以上が、照合部２５３１において追尾対象移動軌跡情報２４５と被照合移動軌跡情報２４６とを照合する方法の一例である。但し、照合方法は上記に限定されない。例えば、照合部２５３１は、追尾対象移動軌跡情報２４５のエントリ２４５２および被照合移動軌跡情報２４５のエントリ２４６２に含まれる画像特徴、移動速度、加速度をも考慮して、双方の移動軌跡情報を照合してよい。
　照合部２５３１は、以上のようにして、追尾対象移動軌跡情報２４５と１以上の被照合移動軌跡情報２４６とを照合した結果に基づいて、カメラ１２で撮影された監視エリア１３Ｃ内を移動する人物のうち、何れの人物がカメラ１１で追尾中の人物であるかを決定するように構成されている。例えば、照合部２５３１は、一番高い照合結果が一定閾値以上であれば、その一番高い照合結果となった被照合移動軌跡情報２４６に係る人物がカメラ１１で追尾中の人物であると決定する。一方、照合部２５３１は、例えば、一番高い照合結果が一定閾値以上でなければ、カメラ１１で追尾中の人物はカメラ１２で撮影された人物の中に存在しないと決定する。
　追尾部２５３２は、照合部２５３１によって決定された追尾対象（カメラ１２に写っているカメラ１１で追尾中の人物）を撮影範囲内に捉えるようにカメラ１２で追尾するように構成されている。追尾部２５３２は、カメラ１２のＰＴＺ値を変更して追尾対象を追尾するため、追尾対象が監視エリア１４Ｃから監視エリア１３Ｄへ移動しても当該追尾対象を撮影範囲内に捉えることができる。
　座標変換部２５３３は、照合部２５３１によって算出された被照合移動軌跡情報２４６を、カメラ校正情報２４２－２を用いて、カメラ１２の画像座標系から世界座標系に変換するように構成されている。即ち、座標変換部２５３３は、エントリ２４６２中の位置情報（カメラ１２の画像座標系）を、カメラ校正情報２４２－２を用いて、世界座標系の位置情報に変換し、エントリ２４６２に付加するように構成されている。ここで、座標変換部２５３３は、座標変換部２５２３と同様に世界座標系として、ｚ＝０（即ち、高さ０）となる平面（共通マップ）を使用する。この座標変換部２５３３は、被照合移動軌跡情報２４６と追跡対象移動軌跡情報２４５とを世界座標系で照合するとき等に利用される。
　続いて、追跡対象移動軌跡情報２４５の各エントリ２４５２に設定する姿勢情報を算出する方法について説明する。
　追跡対象移動軌跡情報２４５のエントリ２４５２は、カメラ１１から新たな１つの画像が取得される毎に新たに生成される。前述したように、カメラ１１から送られてくる画像データには、画像以外に、その画像を撮影したときのカメラ１１のＰＴＺ値が付加されている。従って、姿勢情報を算出する第１の方法は、監視部２５２が、取得した画像に付加されているＰＴＺ値中のパン値およびチルト値に基づいて、エントリに設定する姿勢情報を算出することである。
　姿勢情報を算出する第２の方法は、監視部２５２が、カメラ１１から取得した複数の画像のそれぞれから画像全体の動きベクトルを算出し、この算出された動きベクトルに基づいてカメラ１１の姿勢情報を算出することである。監視部２５２は、画像全体の動きベクトルの算出では、任意の方法を使用してよい。例えば、監視部２５２は、既存の特徴点抽出によって得た複数の特徴点に基づいて画像間の対応点群を求め、その求めた対応点群に基づいて画像全体の動きベクトルを算出してよい。或いは、監視部２５２は、画像全体をメッシュ状に区切った各格子点などに基づいて画像間の対応点群を求め、その求めた対応点群に基づいて画像全体の動きベクトルを算出してよい。動きベクトルを算出する２つの画像のフレーム間隔は、１または２または３以上であってもよい。この第２の方法は、ハードウェア的なカメラ姿勢変化を擬似的に画像ベースで算出する方法である。
　続いて、制御装置２０の動作について説明する。先ず、システム運用前に実施するカメラ校正について説明する。
　制御装置２０の校正部２５１は、カメラ１１、１２の設置時などのシステム運用前の任意の時点で、カメラ１１、１２の校正を行う。
　カメラ１１の校正では、校正部２５１は、先ず、監視エリア１３Ａの全域を撮影できるようにカメラ１１のＰＴＺ値を調整する。次に、校正部２５１は、操作入力部２２および画面表示部２３を通じたオペレータとの間の対話型処理により、所定のカメラ校正手法を用いてカメラ１１のカメラ校正情報を算出する。校正部２５１は、算出したカメラ校正情報をカメラ校正情報２４２－１として記憶部２４に保存する。また校正部２５１は、校正を行ったときのカメラ１１のＰＴＺ値を基準ＰＴＺ値として取得する。さらに校正部２５１は、基準ＰＴＺ値に設定したカメラ１１でエリア１３Ａを撮影した画像を基準画像として取得する。校正部２５１は、上記取得した基準画像に基準ＰＴＺ値を付加し、基準画像２４３－１として記憶部２４に保存する。
　カメラ１２の校正では、校正部２５１は、先ず、監視エリア１３Ｃ（カメラ１１との共通エリア）の全域を撮影できるようにカメラ１２のＰＴＺ値を調整する。次に、校正部２５１は、操作入力部２２および画面表示部２３を通じたオペレータとの間の対話型処理により、所定のカメラ校正手法を用いてカメラ１２のカメラ校正情報を算出する。校正部２５１は、算出したカメラ校正情報をカメラ校正情報２４２－２として記憶部２４に保存する。また校正部２５１は、校正を行ったときのカメラ１２のＰＴＺ値を基準ＰＴＺ値として取得する。さらに校正部２５１は、基準ＰＴＺ値に設定したカメラ１２でエリア１５を撮影した画像を基準画像として取得する。校正部２５１は、上記取得した基準画像に基準ＰＴＺ値を付加して、基準画像２４３－２として記憶部２４に保存する。
　続いて、システム運用時の制御装置２０の動作について説明する。図６は、カメラ１１を用いて行う追跡処理の一例を示すフローチャートである。以下、図６を参照して、制御装置２０がカメラ１１を用いて行う追跡処理について説明する。
　先ず、制御装置２０の監視部２５２における検知部２５２１は、初期化を行う（ステップＳ１１）。この初期化では、検知部２５２１は、カメラ１１を基準ＰＴＺ値に設定する。検知部２５２１は、初期化では、さらに、追跡対象移動軌跡情報２４５の全てのエントリをクリアする。次に、検知部２５２１は、基準ＰＴＺ値に設定されたカメラ１１で監視エリア１３Ａを撮影した画像を取得し、画像ＤＢ２４４－１に保存すると共に画面表示部２３にモニタ表示する（ステップＳ１２）。次に、検知部２５２１は、パターン認識や機械学習などの各種手法を用いて、今回保存した画像から全ての人物を検出する（ステップＳ１３）。次に、検知部２５２１は、検出結果を画面表示部２３に表示する（ステップＳ１４）。例えば、検知部２５２１は、画像から検出した人物毎の外接矩形をその画像に重畳表示した画像を生成して画面表示部２３に表示する。次に、検知部２５２１は、操作入力部２２から追跡対象の人物が指定されたか否かを判定する（ステップＳ１５）。オペレータは、例えば、画面表示部２３に表示されたカメラ１１の画像上で人物の矩形をクリックするなどの操作を行うことにより追跡対象の人物を指定することができる。検知部２５２１は、追跡対象の人物が指定されなければ、ステップＳ１２に戻り、上述した処理と同様の処理を繰り返す。一方、追跡対象の人物が指定されると、検知部２５２１は、追跡対象移動軌跡情報２４５を更新する（ステップＳ１６）。
　検知部２５２１は、ステップＳ１６における追跡対象移動軌跡情報２４５の更新では、エントリ２４５１にオペレータから指定された追跡対象人物に割り当てたＩＤおよびカメラ１１のカメラＩＤを設定する。また、検知部２５２１は、１つの空きエントリ２４５２を確保し、確保したエントリ２４５２およびエントリ２４５１に関連付け情報を設定することにより、確保したエントリ２４５２とエントリ２４５１とを相互に関連付ける。次に、検知部２５２１は、確保したエントリ２４５２に注目し、注目中エントリ２４５２に、撮影時刻、人物領域、姿勢情報、位置情報（カメラ１１の画像座標系）、画像特徴を設定し、位置情報（カメラ１２の画像座標系）と移動ベクトルと移動速度と加速度はＮＵＬＬ値とする。
　次に、監視部２５２の座標変換部２５２３は、追跡対象移動軌跡情報２４５の注目中エントリ２４５２に対して座標変換を行う（ステップＳ１７）。このステップＳ１７において、座標変換部２５２３は、図５を参照して説明したように、先ず、注目中エントリ２４５２に対応する画像からカメラ１２の基準画像への平面射影変換行列を算出する。次に、座標変換部２５２３は、上記算出した平面射影変換行列を使用して、注目中エントリ２４５２に設定された位置情報（カメラ１１の画像座標系）に対応するカメラ１２の画像座標系の位置情報を算出する。次に、座標変換部２５２３は、上記算出して得られた位置情報（カメラ１２の画像座標系）を注目中エントリ２５４５２に設定する。また、座標変換部２５２３は、ステップＳ１７において、さらに、位置情報（カメラ１２の画像座標系）を、カメラ校正情報２４２－２を用いて、世界座標系の位置情報に変換し、注目中エントリ２５４５２に追加するようにしてもよい。
　次に、監視部２５２の追尾部２５２２は、追尾制御を行う（ステップＳ１８）。例えば、追尾部２５２２は、注目中エントリ２４５２に設定された位置情報（カメラ１１の画像座標系）に応じてカメラ１１のＰＴＺ値を制御するための指令を生成し、通信Ｉ／Ｆ部２１を通じてカメラ１１に対して送信する。このとき、例えば、追尾部２５２２は、注目中エントリ２４５２の位置情報（カメラ１１の画像座標系）で表される追跡対象人物の外接矩形の重心が画像の中心に表示されるようにパンとチルトを調整し、その外接矩形の全体が所定の画角内に収まるようにズームを調整してよい。カメラ１１は、上記指令に応答してパン、チルト、ズームを変更することにより撮像範囲を変更する。
　次に、追尾部２５２２は、変更後のＰＴＺ値に設定されたカメラ１１で撮影された画像を取得して画像ＤＢ２４３－１に保存するとともに画面表示部２３にモニタ表示する（ステップＳ１９）。次に、追尾部２５２２は、パターン認識や機械学習などの各種手法を用いて、今回保存した画像から追尾対象の人物を検出し（ステップＳ２０）、検出した人物の外接矩形をその画像に重畳表示した画像を生成して画面表示部２３に表示する（ステップＳ２１）。これにより、オペレータは、画面表示部２３に表示された画像上で指定した人物の追跡状況をリアルタイムに確認することができる。
　次に、追尾部２５２２は、追跡対象移動軌跡情報２４５を更新する（ステップＳ２２）。追尾部２５２２は、ステップＳ２２における追跡対象移動軌跡情報２４５の更新では、先ず、１つの空きエントリ２４５２を確保し、この確保した空きエントリ２４５２と注目中エントリ２４５２とに関連付け情報を設定した後、上記確保した空きエントリ２４５２に注目を移す。次に、追尾部２５２２は、新たに注目したエントリ２４５２に、撮影時刻、人物領域、姿勢情報、位置情報（カメラ１１の画像座標系）、画像特徴を設定し、位置情報（カメラ１２の画像座標系）と移動ベクトルと移動速度と加速度はＮＵＬＬ値とする。
　次に、監視部２５２の座標変換部２５２３は、注目中エントリ２４５２に設定された位置情報（カメラ１１の画像座標系）を、カメラ１２の画像座標系における位置情報に変換する（ステップＳ２３）。注目中エントリ２４５２に対応する画像は、前回の画像とは異なるＰＴＺ値に設定されたカメラ１１で撮影されている可能性がある。そのため、座標変換部２５２３は、図５を参照して説明したように、先ず、注目中エントリ２４５２に対応する画像からカメラ１２の基準画像への平面射影変換行列を算出する。次に、座標変換部２５２３は、上記算出した平面射影変換行列を使用して、注目中エントリ２４５２に設定された位置情報（カメラ１１の画像座標系）に対応するカメラ１２の画像座標系の位置情報を算出する。次に、座標変換部２５２３は、上記算出して得られた位置情報（カメラ１２の画像座標系）を注目中エントリ２５４５２に設定する。また、座標変換部２５２３は、ステップＳ２３において、注目中エントリ２４５２とそれ以前のエントリ２４５２の位置情報（カメラ１２の画像座標系）に基づいて、移動ベクトル、移動速度、加速度を算出し、注目中エントリ２４５２に設定する。また、座標変換部２５２３は、ステップＳ２３において、さらに、位置情報（カメラ１２の画像座標系）を、カメラ校正情報２４２－２を用いて、世界座標系の位置情報に変換し、注目中エントリ２５４５２に追加するようにしてもよい。
　次に、監視部２５２の追尾部２５２２は、追尾を終了するか否かを判断する（ステップＳ２４）。例えば、追尾部２５２２は、追跡対象の人物が監視エリア１３Ａ、１３Ｂおよび１３Ｃに存在しなくなったことを検知したとき、追尾を終了すると判断してよい。或いは、追尾部２５２２は、追跡対象の人物がカメラ１１によって追尾できない状態になったことを検知したとき、追尾を終了してよい。追尾部２５２２は、追尾を終了すると判断しなかった場合、ステップＳ１８に戻って、上述した処理と同様の処理を繰り返す。これにより、追跡対象の人物のカメラ１１による追尾が継続され、それに応じて追跡対象移動軌跡情報２４５を更に更新されていくことになる。
　追尾部２５２２は、追尾を終了すると判断した場合、監視を終了するか否かを判断する（ステップＳ２５）。例えば、追尾部２５２２は、操作入力部２２を通じてオペレータから監視終了コマンドが入力された場合、監視を終了すると判断する。監視を終了すると判断されなかった場合、監視部２５２は、ステップＳ１１に戻って、上述した処理と同様の処理を繰り返す。監視を終了すると判断された場合、監視部２５２は、図６に示す処理を終了する。
　図７は、カメラ１２を用いて行う追跡処理の一例を示すフローチャートである。以下、図７を参照して、制御装置２０がカメラ１２を用いて行う追跡処理について説明する。
　先ず、制御装置２０の監視部２５３における照合部２５３１は、初期化を行う（ステップＳ３１）。この初期化では、照合部２５３１は、カメラ１２を基準ＰＴＺ値に設定する。また、照合部２５３１は、初期化では、さらに、被照合移動軌跡情報２４６の全てのエントリをクリアする。次に、照合部２５３１は、基準ＰＴＺ値に設定されたカメラ１２で監視エリア１３Ｃを撮影した画像を取得し、画像ＤＢ２４４－２に保存すると共に画面表示部２３にモニタ表示する（ステップＳ３２）。次に、照合部２５３１は、パターン認識や機械学習などの各種手法を用いて、今回保存した画像から全ての人物を検出する（ステップＳ３３）。次に、照合部２５３１は、検出結果を画面表示部２３に表示する（ステップＳ３４）。
　次に、照合部２５３１は、人物の検出結果に基づいて、被照合移動軌跡情報２４５を更新する（ステップＳ３５）。初期化後に最初に取得されたカメラ１２の画像から検出された人物は全て初めて検出された人物であるため、照合部２５３１は、ステップＳ３５において、検出された人物毎に１つの被照合移動軌跡情報２４６を割り当て、割り当てた被照合移動軌跡情報２４６のそれぞれに対して以下の処理を行う。
　先ず、照合部２５３１は、被照合移動軌跡情報２４６のエントリ２４６１に検出された人物に割り当てた人物ＩＤとカメラ１２のカメラＩＤを設定する。次に、照合部２５３１は、１つの空きエントリ２４６２を確保し、その確保した空きエントリ２４６２とエントリ２４６１とを相互に関連付ける情報を設定した後、その確保した空きエントリ２４６２に注目する。次に、照合部２５３１は、注目中エントリ２４６２に撮影時刻、人物領域、姿勢情報、位置情報（カメラ１２の画像座標系）、画像特徴を設定し、移動ベクトルと移動速度と加速度はＮＵＬＬ値とする。
　次に、監視部２５３の座標変換部２５３３は、注目中エントリ２４６２に対して以下のような処理を行う（ステップＳ３６）。先ず、座標変換部２５３３は、カメラ校正情報４４２－２を使用して、注目中エントリ２４６２に設定された位置情報（カメラ１２の画像座標系）を、世界座標系の位置情報に変換する。次に、座標変換部２５３３は、上記変換して得られた世界座標系の位置情報を注目中エントリ２４６２に位置情報（世界座標系）として新たに追加設定する。
　次に、監視部２５３の照合部２５３１は、追跡対象移動軌跡情報２４５と１以上の被照合移動軌跡情報２４６とを照合する（ステップＳ３７）。この照合は、追跡対象の移動軌跡と被照合の移動軌跡とをカメラ１２の画像座標系で行われるが、世界座標系で行ってもよい。照合部２５３１は、この照合により、カメラ１２で撮影された監視エリア１３Ｃ内を移動する人物のうち、何れの人物がカメラ１１で追尾中の人物であるかを決定する。次に、照合部２５３１は、カメラ１１で追尾中の人物の検出に成功したか否かを判定する（ステップＳ３８）。照合部２５３１は、上記検出に成功しなければ、ステップＳ３２に戻って、上述した処理と同様の処理を繰り返す。一方、照合部２５３１は、上記検出に成功した場合、カメラ１１で追尾中の人物であると決定した人物の人物ＩＤを追尾部２５３２に伝達する。
　追尾部２５３２は、照合部２５３２から受け取った人物ＩＤがエントリ２４６１に設定された被照合移動軌跡情報２４６の最後尾のエントリ２４６２に注目し、カメラ１２を用いて追尾対象人物を追尾する。例えば、追尾部２５３２は、注目中エントリ２４６２に設定された位置情報（画像座標系）に応じてカメラ１２のＰＴＺ値を制御するための指令を生成し、通信Ｉ／Ｆ部２１を通じてカメラ１２に対して送信する。このとき、例えば、追尾部２５３２は、注目中エントリ２４６２の位置情報（カメラ１２の画像座標系）で表される追跡対象人物の外接矩形の重心が画像の中心に表示されるようにパンとチルトを調整し、その外接矩形の全体が所定の画角内に収まるようにズームを調整してよい。カメラ１２は、上記指令に応答してパン、チルト、ズームを変更することにより撮像範囲を変更する。また、追尾部２５３２は、ステップＳ３９において、ＰＴＺ変更後のカメラ１２で撮影された画像を取得し、追尾対象人物の検出、画面表示部２３へのモニタ表示などの処理を行う。
　さらに、追尾部２５３２は、追尾を終了するか否かを判断する（ステップＳ４０）。例えば、追尾部２５３２は、追跡対象の人物が監視エリア１３Ｃ、１３Ｄに存在しなくなったことを検知したとき、追尾を終了すると判断してよい。或いは、追尾部２５３２は、追跡対象の人物がカメラ１２によって追尾できない状態になったことを検知したとき、追尾を終了してよい。追尾部２５３２は、追尾を終了すると判断しなかった場合、ステップＳ３８に戻って、上述した処理と同様の処理を繰り返す。これにより、追跡対象の人物のカメラ１２による追尾が継続されることになる。追尾部２５３２は、追尾を終了すると判断した場合、監視を終了するか否かを判断する（ステップＳ４１）。例えば、追尾部２５３２は、操作入力部２２を通じてオペレータから監視終了コマンドが入力された場合、監視を終了すると判断する。監視を終了すると判断されなかった場合、監視部２５３は、ステップＳ３１に戻って、上述した処理と同様の処理を繰り返す。監視を終了すると判断された場合、監視部２５３は、図７に示す処理を終了する。
　このように本実施形態によれば、追尾部２５２２は、移動する追尾対象人物を撮影範囲内に捉える追尾機能を有するカメラ１１で追尾しながら連続して撮影された複数の画像から追尾対象人物の位置情報（カメラ１１の画像座標系）を取得して、追尾対象移動軌跡情報２４５の各エントリ２４５２を算出する。また、座標変換部２５２３は、カメラ１１で撮影されて得られた各エントリ２４５２に対応する画像からカメラ１２の基準画像への平面射影変換行列を算出し、この算出された平面射影変換行列を用いて追尾対象移動軌跡情報２４５の各エントリ２４５２の位置情報（カメラ１１画像座標系）をカメラ１２の画像座標系の位置情報に変換する。上記平面射影変換行列は、カメラ校正情報と相違して人手介入なしに算出することができる。そのため、本実施形態によれば、移動する人物を撮影範囲内に捉える追尾機能を有するカメラ１１で人物を追尾しながら人物のカメラ１２の画像座標系の位置情報の時系列である移動軌跡情報を算出することができる。その結果、カメラ１１とカメラ１２間で人物の移動軌跡をリアルタイムに照合でき、ＰＴＺカメラ間での移動体の自動照合が可能になる。
　続いて、本実施形態の変形例について説明する。
　カメラ１１にコンピュータを搭載し、そのコンピュータ上に監視部２５２の機能の全部または一部を搭載するように構成してよい。同様に、カメラ１２にコンピュータを搭載し、そのコンピュータ上に監視部２５３の機能の全部または一部を搭載するように構成してよい。また、カメラ１１およびカメラ１２にネットワークを通じて接続されたコンピュータに、操作入力部２２、画面表示部２３、記憶部２４を搭載するように構成してよい。
　本発明は、通路以外の場所、例えば、店舗、工場、駅のプラットフォーム、グラウンド、体育館などに居る人物を検出し、追跡するシステムに適用してよい。
　本発明で検出して追跡する対象は、人物以外の任意の移動体、例えば、動物、自動車、歩行ロボットなどであってよい。
　本発明で使用するカメラ視野の一部を共通するカメラは、カメラ１１とカメラ１２の２台に限定されず、３台以上のカメラであってもよい。
［第２の実施の形態］
　次に、本発明の第２の実施形態について図面を参照して詳細に説明する。
　図８を参照すると、本実施形態に係る移動軌跡情報処理装置３０は、算出手段３１と変換手段３２とを備える。
　算出手段３１は、移動する対象物を撮影画像内に捉えるカメラで前記対象物を連続して撮影された複数の画像から前記対象物の画像上の位置情報と前記カメラの姿勢情報の時系列である移動軌跡情報を算出するように構成されている。算出手段３１は、例えば、図２の追尾部２５２２と同様に構成することができるが、それに限定されない。
　変換手段３２は、前記画像から所定画像への平面射影変換行列を算出し、該算出された平面射影変換行列を用いて前記移動軌跡情報を前記対象物の前記所定画像上の位置情報の時系列である移動軌跡情報に変換するように構成されている。変換手段３２は、例えば、図２の座標変換部２５２３と同様に構成することができるが、それに限定されない。
　以上のように構成された移動軌跡情報処理装置３０は、以下のように動作する。即ち、算出手段３１は、移動する対象物を撮影画像内に捉えるカメラで前記対象物を連続して撮影された複数の画像から前記対象物の画像上の位置情報と前記カメラの姿勢情報の時系列である移動軌跡情報を算出する。次に、変換手段３２は、前記画像から所定画像への平面射影変換行列を算出し、該算出された平面射影変換行列を用いて前記移動軌跡情報を前記対象物の前記所定画像上の位置情報の時系列である移動軌跡情報に変換する。
　以上のように構成され動作する移動軌跡情報処理装置３０によれば、移動する対象物を撮影範囲内に捉えるカメラで対象物を連続して撮影された複数の画像から対象物の移動軌跡情報を算出することができる。その理由は、上記平面射影変換行列は、カメラ校正情報と相違して人手介入なしに算出することができるためである。
　以上、上記各実施形態を参照して本発明を説明したが、本発明は、上述した実施形態に限定されるものではない。本発明の構成や詳細には、本発明の範囲内で当業者が理解しうる様々な変更をすることができる。
　例えば、本発明によって算出された対象物の移動軌跡は、監視・追跡を目的とする以外に、移動軌跡に基づいて個人認証や異常行動検知などを行う目的で使用されてもよい。また、本発明で使用するカメラは必ずしも追尾機能を有している必要はない。例えば、移動する対象物を撮影範囲内に捉えるようにカメラの姿勢を撮影者が手動で変化させて対象物を追尾しながら連続して撮影された複数の画像から対象物の移動軌跡情報を算出する場合にも本発明は適用可能である。
　ＰＴＺカメラなどの移動する対象物を撮影範囲内に捉えるカメラで対象物を連続して撮影された複数の画像から対象物を検出し、追跡するシステムなどに利用できる。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
［付記１］
　移動する対象物を撮影画像内に捉えるカメラで前記対象物を連続して撮影された複数の画像から前記対象物の画像上の位置情報と前記カメラの姿勢情報の時系列である移動軌跡情報を算出する算出手段と、
　前記画像から所定画像への平面射影変換行列を算出し、該算出された平面射影変換行列を用いて前記移動軌跡情報を前記対象物の前記所定画像上の位置情報の時系列である移動軌跡情報に変換する変換手段と、
を備える移動軌跡情報処理装置。
［付記２］
　前記算出手段は、前記複数の画像のそれぞれから画像全体の動きベクトルを算出し、該算出された動きベクトルに基づいて前記カメラの姿勢情報の時系列を算出する、
付記１に記載の移動軌跡情報処理装置。
［付記３］
　前記所定画像は、前記カメラとの間でカメラ視野の一部が重複するように設置された他のカメラで撮像された画像である、
付記１または２に記載の移動軌跡情報処理装置。
［付記４］
　前記変換手段によって変換して得られた前記移動軌跡情報と前記他のカメラで連続して撮影された複数の画像から算出された被照合対象物の前記所定画像上の位置情報の時系列である他の移動軌跡情報とを照合する照合手段を、更に備える、
付記３に記載の移動軌跡情報処理装置。
［付記５］
　前記カメラは、ＰＴＺカメラである、
付記１乃至４の何れかに記載の移動軌跡情報処理装置。
［付記６］
　移動する対象物を撮影画像内に捉えるカメラで前記対象物を連続して撮影された複数の画像から前記対象物の画像上の位置情報と前記カメラの姿勢情報の時系列である移動軌跡情報を算出し、
　前記画像から所定画像への平面射影変換行列を算出し、
　該算出された平面射影変換行列を用いて前記移動軌跡情報を前記対象物の前記所定画像上の位置情報の時系列である移動軌跡情報に変換する、
移動軌跡情報処理方法。
［付記７］
　前記カメラの姿勢情報の時系列の算出では、前記複数の画像のそれぞれから画像全体の動きベクトルを算出し、該算出された動きベクトルに基づいて前記カメラの姿勢情報の時系列を算出する、
付記６に記載の移動軌跡情報処理方法。
［付記８］
　前記所定画像は、前記カメラとの間でカメラ視野の一部が重複するように設置された他のカメラで撮像された画像である、
付記６または７に記載の移動軌跡情報処理方法。
［付記９］
　さらに、前記変換によって得られた前記移動軌跡情報と前記他のカメラで連続して撮影された複数の画像から算出された被照合対象物の前記所定画像上の位置情報の時系列である他の移動軌跡情報とを照合する、
付記８に記載の移動軌跡情報処理方法。
［付記１０］
　コンピュータに、
　移動する対象物を撮影画像内に捉えるカメラで前記対象物を連続して撮影された複数の画像から前記対象物の画像上の位置情報と前記カメラの姿勢情報の時系列である移動軌跡情報を算出する処理と、
　前記画像から所定画像への平面射影変換行列を算出する処理と、
　該算出された平面射影変換行列を用いて前記移動軌跡情報を前記対象物の前記所定画像上の位置情報の時系列である移動軌跡情報に変換する処理と、
を行わせるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
１０　追跡システム
１１、１２　ＰＴＺカメラ
１３Ａ～１３Ｄ　監視エリア
２０　制御装置
２１　通信Ｉ／Ｆ部
２２　操作入力部
２３　画面表示部
２４　記憶部
２５　演算処理部
３０　移動軌跡情報処理装置
３１　算出手段
３２　変換手段
２４１　プログラム
２４２－１、２４２－２　カメラ校正情報
２４３－１、２４３－２　基準画像
２４４－１、２４４－２　画像ＤＢ
２４５　追跡対象移動軌跡情報
２４６　被照合移動軌跡情報
２５１　カメラ校正部
２５２、２５３　監視部
２５２１　検知部
２５２２、２５３２　追尾部
２５２３、２５３３　座標変換部
２５３１　照合部

Claims (10)

  1. 　移動する対象物を撮影画像内に捉えるカメラで前記対象物を連続して撮影された複数の画像から前記対象物の画像上の位置情報と前記カメラの姿勢情報の時系列である移動軌跡情報を算出する算出手段と、
    　前記画像から所定画像への平面射影変換行列を算出し、該算出された平面射影変換行列を用いて前記移動軌跡情報を前記対象物の前記所定画像上の位置情報の時系列である移動軌跡情報に変換する変換手段と、
    を備える移動軌跡情報処理装置。
  2. 　前記算出手段は、前記複数の画像のそれぞれから画像全体の動きベクトルを算出し、該算出された動きベクトルに基づいて前記カメラの姿勢情報の時系列を算出する、
    請求項１に記載の移動軌跡情報処理装置。
  3. 　前記所定画像は、前記カメラとの間でカメラ視野の一部が重複するように設置された他のカメラで撮像された画像である、
    請求項１または２に記載の移動軌跡情報処理装置。
  4. 　前記変換手段によって変換して得られた前記移動軌跡情報と前記他のカメラで連続して撮影された複数の画像から算出された被照合対象物の前記所定画像上の位置情報の時系列である他の移動軌跡情報とを照合する照合手段を、更に備える、
    請求項３に記載の移動軌跡情報処理装置。
  5. 　前記カメラは、ＰＴＺカメラである、
    請求項１乃至４の何れかに記載の移動軌跡情報処理装置。
  6. 　移動する対象物を撮影画像内に捉えるカメラで前記対象物を連続して撮影された複数の画像から前記対象物の画像上の位置情報と前記カメラの姿勢情報の時系列である移動軌跡情報を算出し、
    　前記画像から所定画像への平面射影変換行列を算出し、
    　該算出された平面射影変換行列を用いて前記移動軌跡情報を前記対象物の前記所定画像上の位置情報の時系列である移動軌跡情報に変換する、
    移動軌跡情報処理方法。
  7. 　前記カメラの姿勢情報の時系列の算出では、前記複数の画像のそれぞれから画像全体の動きベクトルを算出し、該算出された動きベクトルに基づいて前記カメラの姿勢情報の時系列を算出する、
    請求項６に記載の移動軌跡情報処理方法。
  8. 　前記所定画像は、前記カメラとの間でカメラ視野の一部が重複するように設置された他のカメラで撮像された画像である、
    請求項６または７に記載の移動軌跡情報処理方法。
  9. 　さらに、前記変換によって得られた前記移動軌跡情報と前記他のカメラで連続して撮影された複数の画像から算出された被照合対象物の前記所定画像上の位置情報の時系列である他の移動軌跡情報とを照合する、
    請求項８に記載の移動軌跡情報処理方法。
  10. 　コンピュータに、
    　移動する対象物を撮影画像内に捉えるカメラで前記対象物を連続して撮影された複数の画像から前記対象物の画像上の位置情報と前記カメラの姿勢情報の時系列である移動軌跡情報を算出する処理と、
    　前記画像から所定画像への平面射影変換行列を算出する処理と、
    　該算出された平面射影変換行列を用いて前記移動軌跡情報を前記対象物の前記所定画像上の位置情報の時系列である移動軌跡情報に変換する処理と、
    を行わせるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
PCT/JP2022/009081 2022-03-03 2022-03-03 移動軌跡情報処理装置、移動軌跡情報処理方法、および記録媒体 WO2023166649A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/009081 WO2023166649A1 (ja) 2022-03-03 2022-03-03 移動軌跡情報処理装置、移動軌跡情報処理方法、および記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/009081 WO2023166649A1 (ja) 2022-03-03 2022-03-03 移動軌跡情報処理装置、移動軌跡情報処理方法、および記録媒体

Publications (1)

Publication Number Publication Date
WO2023166649A1 true WO2023166649A1 (ja) 2023-09-07

Family

ID=87883271

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/009081 WO2023166649A1 (ja) 2022-03-03 2022-03-03 移動軌跡情報処理装置、移動軌跡情報処理方法、および記録媒体

Country Status (1)

Country Link
WO (1) WO2023166649A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009110417A1 (ja) * 2008-03-03 2009-09-11 ティーオーエー株式会社 旋回型カメラの設置条件特定装置および方法ならびに当該設置条件特定装置を備えるカメラ制御システム
JP2018160219A (ja) * 2017-03-24 2018-10-11 株式会社 日立産業制御ソリューションズ 移動経路予測装置、及び移動経路予測方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009110417A1 (ja) * 2008-03-03 2009-09-11 ティーオーエー株式会社 旋回型カメラの設置条件特定装置および方法ならびに当該設置条件特定装置を備えるカメラ制御システム
JP2018160219A (ja) * 2017-03-24 2018-10-11 株式会社 日立産業制御ソリューションズ 移動経路予測装置、及び移動経路予測方法

Similar Documents

Publication Publication Date Title
JP6755713B2 (ja) 追尾装置、追尾方法及びプログラム
JP6532217B2 (ja) 画像処理装置、画像処理方法、及び画像処理システム
Senior et al. Acquiring multi-scale images by pan-tilt-zoom control and automatic multi-camera calibration
US8866910B1 (en) Unusual event detection in wide-angle video (based on moving object trajectories)
JP5688456B2 (ja) 熱画像座標を用いた保安用カメラ追跡監視システム及び方法
US8098290B2 (en) Multiple camera system for obtaining high resolution images of objects
JP6077655B2 (ja) 撮影システム
KR101530255B1 (ko) 객체 자동 추적 장치가 구비된 cctv 시스템
WO2003100726A1 (en) Security camera system for tracking moving objects in both forward and reverse directions
EP3726424A1 (en) Determination of audience attention
KR20170082735A (ko) 객체 추적 기반의 객체 영상 제공 방법
CN110944101A (zh) 摄像装置及图像记录方法
JP6624800B2 (ja) 画像処理装置、画像処理方法、及び画像処理システム
KR101916093B1 (ko) 객체 추적 방법
CN114037923A (zh) 一种目标活动热点图绘制方法、***、设备及存储介质
KR20150019230A (ko) 복수의 카메라를 이용한 객체 추적 방법 및 장치
WO2023166649A1 (ja) 移動軌跡情報処理装置、移動軌跡情報処理方法、および記録媒体
WO2023166648A1 (ja) 移動軌跡情報処理装置
JP3758511B2 (ja) 物体検出装置及び物体検出プログラム
CN113033350B (zh) 基于俯视图像的行人重识别方法、存储介质和电子设备
KR101996907B1 (ko) 객체 추적 장치
CN110595443A (zh) 一种投影装置
Chen et al. Camera handoff and placement for automated tracking systems with multiple omnidirectional cameras
JP4027294B2 (ja) 移動体検出装置、移動体検出方法及び移動体検出プログラム
CN113033349B (zh) 行人重识别的俯视图像选取方法、存储介质和电子设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22929794

Country of ref document: EP

Kind code of ref document: A1