WO2012029518A1 - 挙動解析装置 - Google Patents

挙動解析装置 Download PDF

Info

Publication number
WO2012029518A1
WO2012029518A1 PCT/JP2011/068247 JP2011068247W WO2012029518A1 WO 2012029518 A1 WO2012029518 A1 WO 2012029518A1 JP 2011068247 W JP2011068247 W JP 2011068247W WO 2012029518 A1 WO2012029518 A1 WO 2012029518A1
Authority
WO
WIPO (PCT)
Prior art keywords
posture
behavior
behavior analysis
extracted
unit
Prior art date
Application number
PCT/JP2011/068247
Other languages
English (en)
French (fr)
Inventor
吉光裕司
内藤丈嗣
上條俊介
藤村嘉一
Original Assignee
オムロン株式会社
国立大学法人東京大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オムロン株式会社, 国立大学法人東京大学 filed Critical オムロン株式会社
Priority to US13/820,084 priority Critical patent/US8965050B2/en
Priority to JP2012531775A priority patent/JP5559335B2/ja
Publication of WO2012029518A1 publication Critical patent/WO2012029518A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass

Definitions

  • the present invention relates to a behavior analysis apparatus that processes a frame image of a target area captured by an imaging apparatus such as a video camera and analyzes the behavior of a person being imaged.
  • Patent Literature 1 uses a plurality of imaging devices (so-called stereo cameras) with different viewpoints, processes an image of an object imaged by each imaging device, and detects a three-dimensional position of a representative point of the object. A configuration for generating a three-dimensional image is described. Then, the behavior of the object is analyzed by judging the motion and posture of the object from the generated three-dimensional image of the object.
  • imaging devices so-called stereo cameras
  • Patent Document 1 described above requires a stereo camera and an image processing unit that processes the image captured by the stereo camera and generates a 3D image in order to generate a captured 3D image of the object. To do. Therefore, Patent Document 1 has a problem of an increase in system size and cost.
  • An object of the present invention is to provide a behavior analysis apparatus that can accurately determine the behavior of an object without using the three-dimensional information of the object, and that can sufficiently prevent an increase in system size and cost. It is in.
  • the behavior analysis apparatus of the present invention is configured as follows in order to solve the above-described problems and achieve the object.
  • the object extraction means processes the frame image of the imaging area captured by the imaging device and extracts the object being captured.
  • the objects to be extracted here are people and things.
  • the position detection means detects the position in the imaging area for each object extracted by the object extraction means.
  • the posture estimation means estimates the posture of each object extracted by the object extraction means.
  • the behavior determination unit determines the behavior of the object based on the position in the imaging area detected by the position detection unit and the posture estimated by the posture estimation unit.
  • the posture estimation means may estimate the posture based on the height and width of the object extracted by the object extraction means, for example. Specifically, a rectangular area surrounding the object extracted by the object extracting unit is set, and the posture may be estimated based on a ratio (so-called aspect ratio) between the height and width of the rectangular area.
  • the posture estimation means may estimate the posture of the object by adding changes in the height of the upper side and the lower side of the rectangular area surrounding the set object. In this case, if the object is a person, it can be estimated that the squat is crouched when the height of the upper side changes downward, and it can be estimated that the jump is made when the height of the lower side changes upward.
  • the posture estimation means calculates the similarity between the shape of the object extracted by the object extraction means and the shape model stored by the posture model storage means for each posture of the object, and the posture is calculated based on the calculated similarity. It may be estimated. In this case, the posture corresponding to the shape model having the maximum calculated similarity may be estimated as the posture of the object.
  • the object extracting unit extracts the captured object for each frame image of the imaging area captured by the plurality of imaging devices at different angles, and the identifying unit extracts the extracted object as the plurality of imaging devices. It is good also as a structure identified between these frame images.
  • the posture estimation unit may determine the posture of the object extracted by the object extraction unit and identified by the identification unit based on a combination of postures estimated for each frame image captured by a plurality of imaging devices.
  • the location information storage means may store the location information set by associating the region on the corresponding frame image with each region obtained by dividing the imaging area into a plurality of regions.
  • the behavior determination unit may determine the behavior of the object by adding the environment where the object obtained from the location information is located. Thereby, the behavior of an object such as a person being imaged can be estimated according to the location where the monitoring device is imaging.
  • the object map creating means may create an object map in which the position detected by the position detecting means and the posture estimated by the posture estimating means are registered in time series for the object extracted by the object extracting means.
  • the behavior determination unit may determine the behavior of the object from the change in the estimated position and the position of the object with time obtained from the object map created by the object map creation unit. Thereby, the behavior of the object can be estimated based on the movement of the object.
  • the object said here includes not only a person but also luggage.
  • the present invention it is possible to accurately determine the behavior of an object without using the three-dimensional information of the object, and the increase in size and cost of the system can be sufficiently suppressed.
  • FIG. 1 is a block diagram showing a configuration of a main part of a behavior analysis apparatus according to an embodiment of the present invention.
  • the behavior analysis apparatus 1 processes a frame image captured by a video camera 2 installed as a surveillance camera, and extracts an imaged object (person or thing).
  • the video camera 2 inputs a frame image of about several tens of frames (for example, 30 frames) per second to the image input unit 12.
  • the video camera 2 images a monitoring target area such as a ticket gate of a station or a station platform.
  • the behavior analysis apparatus 1 determines the behavior of the person.
  • the behavior analysis apparatus 1 also has a function of searching for a person who left the object.
  • the behavior analysis apparatus 1 includes a control unit 11, an image input unit 12, an image processing unit 13, a storage unit 14, a timer 15, and a communication unit 16.
  • the control unit 11 controls the operation of the behavior analysis apparatus 1 main body.
  • the frame image captured by the connected video camera 2 is input to the image input unit 12.
  • the image processing unit 13 has an object extraction function 13a and a posture estimation function 13b.
  • the object extraction function 13a processes a frame image input from the video camera 2 and extracts a person or an object being imaged as an object.
  • the object extraction function 13a gives an ID to the extracted object and detects its position (position on the frame image). This ID is a unique value that can identify the object.
  • the image processing unit 13 processes a plurality of frame images of the video camera 2 that are temporally continuous and creates an object map, thereby giving an object (ID assigned) in the imaging area of the video camera 2. Tracking people and things). This object map will be described later.
  • the image processing unit 13 extracts and tracks the imaged object using a spatio-temporal MRF (Markov Random Field) model.
  • the spatiotemporal MRF model is an extension of the MRF model as a spatiotemporal model, focusing on the correlation in the time axis direction of the spatiotemporal image.
  • a frame image to be processed is divided into blocks of several pixels ⁇ several pixels (for example, 8 pixels ⁇ 8 pixels), and each block between temporally continuous frame images is divided. This is a model that defines the correlation in the time axis direction with reference to the motion vector.
  • the posture estimation function 13b estimates the posture of the object extracted by the object extraction function 13a. Specifically, the posture estimation function 13b sets a rectangular area surrounding the object extracted by the object extraction function 13a. The rectangular area is set so as to circumscribe the extracted object. The posture estimation function 13b estimates the posture of the object based on the ratio between the height and width of the rectangle set here, that is, the aspect ratio.
  • the ratio of the height ⁇ of the rectangular area surrounding the object to the width ⁇ is If ⁇ / ⁇ ⁇ 06, standing state 0.6 ⁇ / ⁇ ⁇ 1.5, squatting or jumping state 1.5 ⁇ / ⁇ , lying state, It is estimated that.
  • the posture may be estimated by detecting the height ⁇ and the width ⁇ of the object without setting the rectangular area. .
  • the behavior analysis apparatus 1 determines that an object whose position on the frame image does not change for a predetermined time (about several tens of seconds) is a luggage (left object). This time may be set according to the monitoring target area.
  • the behavior analysis apparatus 1 can obtain a change in position with time for each object by referring to the object map.
  • FIG. 2 is a diagram showing an object map.
  • An object map is created for each object extracted by the image processing unit 13 as shown in FIG.
  • FIG. 2 is an example of an object map created for the object A (see FIG. 2A) and the object B (see FIG. 2B), which are extracted objects.
  • Object A is a person
  • object B is a thing.
  • the object map includes an object type (person or object), posture (person only), position, height of the upper side of the rectangular area surrounding the object, height of the lower side, location information, and Records in which time is associated are registered in time series.
  • the image processing unit 13 creates this object map.
  • the storage unit 14 stores this object map.
  • the location information of the object map shown in FIG. 2 is information indicating the environment of the location. For example, a floor which is a passage for an unspecified number of people, a ticket gate area where an automatic ticket gate is installed, and a bench area where a bench is installed are shown. Further, the location information is set for each divided area by dividing the imaging area of the video camera 2 as shown in FIG. FIG. 3A shows a captured image around the ticket gate by the video camera 2.
  • FIG. 3B is a diagram illustrating an example of setting location information for the imaging region illustrated in FIG.
  • FIG. 4A shows a captured image of the station platform by the video camera 2.
  • FIG. 4B is a diagram illustrating an example of setting location information for the imaging region illustrated in FIG.
  • the storage unit 14 stores setting parameters used during the operation of the behavior analysis apparatus 1, processing data generated during the operation (including the object map described above), and the like.
  • the timer 15 measures the current time.
  • the communication unit 16 controls communication with a host device or the like (not shown).
  • This behavior analysis device 1 can analyze not only the behavior of one object (single object) but also the behavior related to multiple objects. By analyzing the behavior of a single object, it is possible to detect unauthorized traffic (forced breakthrough) of automatic ticket gates, traps, sitting down, falling down, staying, drunk people, etc. around station platforms and ticket gates. In addition, by analyzing the behavior of multiple objects, it is possible to detect unauthorized traffic of the automatic ticket gate (co-accompaniment), leaving and taking away suspicious objects, quarrels, cluttering, catch sales, and tricks.
  • FIG. 5 is a flowchart showing the operation of this behavior analysis apparatus.
  • the image processing unit 13 processes the frame image captured by the video camera 2 input to the image input unit 12, and extracts the captured object (person or thing) (S1). ).
  • S1 for example, a difference image with the background is generated, and an object being imaged is extracted from the difference image.
  • the image processing unit 13 associates the person extracted from the previously processed frame image with the person extracted in S1 (S2).
  • the image processing unit 13 uses a spatio-temporal MRF model to extract a person as a person area with a block of 8 pixels ⁇ 8 pixels as a unit.
  • S2 by associating the person extracted in the previously processed frame image with the person extracted in S1, the movement direction and movement amount of the person extracted this time can be obtained, and the extracted person can be tracked.
  • a temporary ID is assigned to a person extracted in the current process and not extracted in the previous process (that is, a person extracted for the first time this time) (S3, S4).
  • the person to whom this temporary ID is assigned is a person who has entered the imaging area of the video camera 2 between the previous frame image processing and the current frame image processing.
  • the image processing unit 13 For each person extracted this time, the image processing unit 13 sets a rectangular area surrounding the person (S5). The image processing unit 13 detects the height and width of the rectangular area set in S5 for each person extracted this time, calculates the aspect ratio (aspect ratio), and estimates the posture of that person (person only). (S6). In S6, as described above, the ratio of the height ⁇ of the rectangular area surrounding the object to the width ⁇ is If ⁇ / ⁇ ⁇ 06, standing state 0.6 ⁇ / ⁇ ⁇ 1.5, squatting or jumping state 1.5 ⁇ / ⁇ , lying state, It is estimated that.
  • the image processing unit 13 generates a record to be registered in the object map for each object extracted from the currently processed frame image (S7).
  • the object type person or object
  • posture person only
  • position height of the upper side of the rectangular area surrounding the object
  • height of the lower side location information
  • Generate a record that correlates time as shown in FIG. 2, the object type (person or object), posture (person only), position, height of the upper side of the rectangular area surrounding the object, height of the lower side, location information, and Generate a record that correlates time.
  • the behavior analysis apparatus 1 registers the record generated in S7 in the object map (S8).
  • the behavior analysis apparatus 1 stores this object map in the storage unit 14.
  • the behavior analysis apparatus 1 creates an object map (see FIG. 2) related to a person or an object located in the imaging area of the video camera 2 by repeating the processes in S1 to S8 described above, and stores the object map in the storage unit 14.
  • an object map see FIG. 2 related to a person or an object located in the imaging area of the video camera 2 by repeating the processes in S1 to S8 described above, and stores the object map in the storage unit 14.
  • the control unit 11 makes this determination based on the object map described above. This determination is performed only for an object that has not been determined whether it is a person or an object, and this determination is not repeated for objects that have already been determined.
  • FIG. 6 is a flowchart for determining the type of the object.
  • the control unit 11 extracts an object whose type has not been determined from the object map (S11).
  • the control unit 11 determines whether or not the position has changed in the processing of the captured image of the past 10 frames for each object extracted in S11 (S12).
  • the control unit 11 determines that the object whose position has changed is a person.
  • the object is determined whether or not the object is present in the frame image of the previous 50 frames (S13).
  • S13 it is determined whether or not the object is an installation that has been temporarily shadowed by another object and has not been imaged by the video camera 2. If it is an object that does not exist in the frame image of the previous 50 frames in S13, the control unit 11 determines that the object is an object (abandoned object) (S14).
  • control part 11 determines that the object is a person, when it determines with the position having changed by the process of the captured image of the past 10 frames by S12 (S15). If the control unit 11 determines in S13 that the object is present in the frame image 50 frames before the previous frame, the control unit 11 determines that the object is an installation object (S16).
  • the behavior analysis apparatus 1 determines the type of the object located in the imaging area of the video camera 2.
  • the behavior analysis apparatus 1 can search for the person who left the object determined to be an abandoned object in S14 by using the object map created by the above-described processing. Specifically, the person located at the place is searched from the object map immediately before the left object is detected. Thereby, the person who left this abandoned object can be specified. Similarly, by using an object map, it is possible to search for people involved in fights and quarrels.
  • the object map is associated with location information indicating the location where the object is located.
  • the behavior of the object person
  • the location information of the place where the person who is the object is located is the floor and the posture is in a lying state, it can be determined that the fallen intoxicated customer or the like.
  • the location information of the place where the person who is the object is located is a bench and the posture is crouched, it can be determined that the user is sitting on the bench.
  • the location information of the place where the person who is the object is located is a bench and the posture is in a lying state, it can be determined that the subject is lying on the bench.
  • the location information of the place where the person who is the object is located is the trash area and the posture is standing, it can be determined that the trash can is being handled.
  • the object map since the height of the upper side and the lower side of the rectangular area surrounding the object are registered in the object map, it can be determined whether the person has jumped up or is squatting. That is, if the lower side is positioned above the floor, it can be determined that it has jumped up, and if the lower side is positioned on the floor, it can be determined that squatting has occurred.
  • FIG. 7A shows a frame image immediately before entering the passage of the automatic ticket gate.
  • FIG. 7B shows a frame image when passing through the passage of the automatic ticket gate (in a squatting state).
  • FIG. 7C shows a frame image when exiting from the passage of the automatic ticket gate. That is, when it is detected that a person passing through the passage of the automatic ticket gate is temporarily crouched, it can be determined that the person is an unauthorized passer of the automatic ticket gate.
  • FIG. 8A shows a frame image immediately before entering the passage of the automatic ticket gate.
  • FIG. 8B shows a frame image when passing through the passage of the automatic ticket gate (in a state of jumping over the gate).
  • FIG. 8C shows a frame image when exiting from the passage of the automatic ticket gate. That is, when it is detected that a person passing through the passage of the automatic ticket gate has temporarily jumped, it can be determined that the person is an unauthorized passer of the automatic ticket gate.
  • the state is determined using the rectangular aspect ratio surrounding the object (passerby), it is possible to suppress erroneous determination that the standing passerby is squatting or jumping.
  • FIG. 9A shows a frame image immediately before entering the passage of the automatic ticket gate.
  • FIG. 9 (B) shows a frame image when passing through the passage of the automatic ticket gate.
  • FIG. 9C shows a frame image when exiting from the passage of the automatic ticket gate.
  • the number of passers through the ticket gate passage obtained from the automatic ticket gate is as follows. One person can be determined to be accompanied.
  • the behavior analysis apparatus 1 determines the behavior of an object based on the aspect ratio that is the ratio of the height and width of the extracted object. That is, since the behavior analysis apparatus 1 does not use the three-dimensional information of the object, the increase in size and cost of the system can be sufficiently suppressed.
  • the behavior analysis apparatus 1 is also configured as shown in FIG. As shown in FIG. 10, the behavior analysis apparatus 1 of this example is different from the behavior analysis apparatus of the above example in that it includes a posture model storage unit 21. Further, as will be described later, the process of estimating the posture according to S6 is different.
  • the posture model storage unit 21 stores a feature model vector for each posture of the object.
  • This model vector is obtained by processing an object image captured by the video camera 2 for each posture. Specifically, for each posture, the video camera 2 captures an object, and the object captured in the captured image is extracted. For the extracted object, a rectangular area surrounding the object is set. A silhouette image (binarized image) in which the object in the rectangular area set here is distinguished from the other object is generated (see FIG. 11).
  • 11A and 11B are silhouette images of people sitting on the bench, and FIG. 11C is a silhouette image of people sitting on the floor.
  • FIG. 11A is a person in a state where the back muscles are extended
  • 11B and 11C are persons in a state where the back is rolled up and the head is lowered.
  • the feature vector generated based on the vertical histogram (x1 to xn) and the horizontal histogram (y1 to ym) in the silhouette image is stored in the posture model storage unit 21 as a model vector X of the corresponding posture. I remember it.
  • the model vector X is created as follows.
  • the behavior analysis apparatus 1 creates an object map shown in FIG.
  • the difference from the above example is that the height of the upper side and the lower side of the rectangular area surrounding the extracted object are not registered.
  • the object extraction function 13a of the image processing unit 13 sets a rectangular region surrounding the person for each person extracted this time in S5.
  • the posture estimation function 13b generates, for each object extracted this time, a silhouette image that distinguishes between the object in the rectangular area set in S5 and the others.
  • the object extraction function 13a obtains a feature vector Y of this object based on the vertical histograms (x1 to xn) and the horizontal histograms (y1 to ym) in the silhouette image generated here.
  • the posture estimation function 13b calculates, for each object, the distance (similarity) between the feature vector Y acquired for the object and the model vector X of each posture stored in the posture model storage unit 21. Then, the posture corresponding to the model vector X having the minimum similarity calculated here and less than a predetermined threshold is estimated as the posture of this object. On the other hand, even if the calculated similarity is the minimum, if the calculated similarity is not less than a predetermined threshold value, the posture of the object is unknown.
  • behavior analysis apparatus 1 is the same as the above example with respect to processes other than S6.
  • the behavior analysis apparatus 1 estimates the posture of the object (person) from the silhouette image. For example, whether a person sitting on a bench is sitting with his back straight, It is also possible to distinguish between differences such as whether the head is bowed.
  • the behavior analysis apparatus 1 has a configuration in which two systems of a video camera 2 (2X, 2Y), an image input unit 12 (12X, 12Y), and an image processing unit 13 (13X, 13Y) are provided. Also good.
  • the behavior analysis apparatus 1 processes a frame image captured by two video cameras 2 (2X, 2Y) installed as surveillance cameras, and extracts a captured object (person or thing). .
  • the video cameras 2X and 2Y are the same as those in the above-described example.
  • the two video cameras 2X and 2Y image the same monitored area.
  • the angle (imaging direction) of the video camera 2X with respect to the monitoring target area and the angle (imaging direction) of the video camera 2Y differ by approximately 90 °.
  • the frame image captured by the connected video camera 2X is input to the image input unit 12X.
  • the image input unit 12Y receives a frame image captured by the connected video camera 2Y.
  • the image processing unit 13X processes the captured image of the video camera 2X input to the image input unit 12X.
  • the image processing unit 13Y processes the captured image of the video camera 2Y input to the image input unit 12Y.
  • the image processing unit 13 (13X, 13Y) also has an object extraction function 13a and a posture estimation function 13b.
  • the image processing unit 13 (13X, 13Y) performs processing for estimating the posture of the object being captured from the silhouette image described above.
  • the image processing unit 13X estimates the posture of the object captured in the captured image of the monitoring target area captured by the video camera 2X. Further, the image processing unit 13Y estimates the posture of the object captured in the captured image of the monitoring target area captured by the video camera 2Y. In other words, the posture of the object located in the monitoring target area is estimated from the captured image captured by the video camera 2X, and the posture is also estimated from the captured image captured by the video camera 2Y.
  • the generated object map is obtained by registering a record in which the record generated by the image processing unit 13X in S7 and the record generated by the image processing unit 13Y are integrated.
  • the control unit 11 performs processing related to the integration of records.
  • the control unit 11 performs an identification process for associating (identifying) the object extracted by the image processing unit 13X with the object extracted by the image processing unit 13Y.
  • the behavior analysis apparatus 1 stores coordinate conversion information indicating the relative positional relationship between the two-dimensional coordinate system of the frame image captured by the video camera 2X and the two-dimensional coordinate system of the frame image captured by the video camera 2Y. 14 is stored.
  • This coordinate conversion information is information for projective conversion of the two-dimensional coordinate system of the frame image captured by the video camera 2X and the two-dimensional coordinate system of the frame image captured by the video camera 2Y into a common coordinate system.
  • the coordinate conversion information the following first coordinate conversion parameter and second coordinate conversion parameter are stored in the storage unit 14.
  • the first coordinate conversion parameter is a parameter for projectively converting the two-dimensional coordinate system of the frame image captured by the video camera 2X into the two-dimensional coordinate system of the frame image captured by the video camera 2Y.
  • the second coordinate conversion parameter is a parameter for projective conversion from the two-dimensional coordinate system of the frame image captured by the video camera 2Y to the two-dimensional coordinate system of the frame image captured by the video camera 2X.
  • the coordinate conversion information may be only one of the first coordinate conversion parameter and the second coordinate conversion parameter.
  • the first coordinate conversion parameter and the second coordinate conversion parameter are values calculated using frame images actually captured when the video cameras 2X and 2Y are installed.
  • the eight constants a0, b0, a1, b1, c1, a2, b2, and c2, which are the solutions of the 8-ary simultaneous equations, represent the two-dimensional coordinate system of the frame image captured by the video camera 2X as the video camera 2Y. Is a first coordinate transformation parameter for projective transformation to the two-dimensional coordinate system of the captured frame image.
  • the identification of the object on the frame image captured by the video cameras 2X and 2Y obtains the coordinate position on the frame image for each object captured by one video camera 2X. Also, the coordinate position on the frame image is acquired for each object imaged by the other video camera 2Y. These can be acquired from the record created by the image processing units 13X and 13Y in S7. Then, a combination pattern for associating the objects on a one-to-one basis is created. For example, the number of patterns of combinations created here is two if there are two objects, and six if there are three objects.
  • the behavior analysis apparatus 1 uses the first coordinate conversion parameter for each object imaged by one video camera 2X, and uses the first coordinate transformation parameter to set 2 of the frame image captured by the other video camera 2Y. Projective transformation into a dimensional coordinate system.
  • the behavior analysis apparatus 1 calculates a first distance energy that is a sum of distances between corresponding objects in a two-dimensional coordinate system of a frame image captured by the other video camera 2Y for each combination pattern of objects.
  • the behavior analysis apparatus 1 uses the second coordinate conversion parameter for each object imaged by the other video camera 2Y, and uses the second coordinate transformation parameter to set 2 of the frame image captured by one video camera 2X. Projective transformation into a dimensional coordinate system.
  • the behavior analysis device 1 calculates a second distance energy that is a sum of distances between corresponding objects in a two-dimensional coordinate system of a frame image captured by one video camera 2X for each combination pattern of objects.
  • the behavior analysis apparatus 1 sets the combination pattern in which the sum of the first distance energy and the second distance energy is the smallest among the combinations of objects located in the transfer area as appropriate for the object being imaged. Judgment is made and the identification is made.
  • the behavior analysis apparatus 1 determines the behavior of the object using the object posture estimated by the image processing unit 13X and the object posture estimated by the image processing unit 13Y.
  • a behavior determination table illustrated in FIG. 15 is stored in the storage unit 14. This behavior determination table is stored for each place such as a ticket gate area (see FIG. 15A), a bench area (see FIG. 15B), a floor (see FIG. 15C), and the like.
  • the behavior determination table is a table that associates the posture of the object estimated by the image processing unit 13X and the object estimated by the image processing unit 13Y with the behavior of the object.
  • the posture of the object estimated by the image processing unit 13X and the posture of the object estimated by the image processing unit 13Y are both standing, it is determined that the user is an appropriate user.
  • the posture of the object estimated by the image processing unit 13X or the posture of the object estimated by the image processing unit 13Y is not in a standing state, it is determined that the user is an unauthorized user (abnormal behavior).
  • the angle of the video camera 2X and the angle of the video camera 2Y with respect to the monitoring target area are different from each other by approximately 90 °, when the object is a person, at least one video camera 2 moves the object horizontally. Images can be taken from the direction, and the estimation accuracy of the posture can be improved. Further, even if an object is not captured by one video camera 2 due to occlusion, there is a high possibility that the object is captured by the other video camera 2, and the object extraction accuracy can be improved.
  • the video camera 2 (2X, 2Y), the image input unit 12 (12X, 12Y), and the image processing unit 13 (13X, 13Y) are provided in two systems. It is good also as a structure.
  • the behavior analysis apparatus 1 is exemplified as a case of determining the behavior of an object in an automatic ticket gate or a station platform, but the present invention can be applied to other places.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Image Analysis (AREA)
  • Alarm Systems (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

オブジェクトの三次元情報を用いることなく、そのオブジェクトの挙動を精度良く判断し、且つ、システムの大型化やコストアップを十分に抑える。 挙動解析装置（１）は、ビデオカメラ（２）が撮像している撮像エリアのフレーム画像を処理し、撮像されているオブジェクトを抽出する。挙動解析装置（１）は、抽出したオブジェクト毎に、撮像エリア内の位置を検出するとともに、抽出したオブジェクト毎に、そのオブジェクトの高さと、幅との比に基づいて、その姿勢を推定する。また、挙動解析装置（１）は、設定したオブジェクトを囲む矩形領域の上辺の高さ、および下辺の高さの変化も加えて、当該オブジェクトの姿勢を推定することもできる。

Description

挙動解析装置
　この発明は、ビデオカメラ等の撮像装置で撮像している対象エリアのフレーム画像を処理し、撮像されている人物の挙動を解析する挙動解析装置に関する。
　従来、駅、ショッピングセンタ、繁華街等の不特定多数の人が集まる場所では、設置した監視カメラ（以下、単にカメラと言う。）の撮像画像を処理し、特異な行動をとった不審者等の人物（以下、単に不審者と言う。）の検出を行っている。具体的には、カメラで撮像しているフレーム画像を処理し、撮像されている人物の挙動を解析し、その挙動が特異であるかどうかを判断している。また、不正行為等にかかる特異な挙動をとった人物を検知すると、その旨を警備員等に通報することも行っている。
　例えば、特許文献１には、視点の異なる複数の撮像装置（所謂、ステレオカメラ）を用い、各撮像装置で撮像した対象物の画像を処理し、その対象物の代表点の三次元位置を検出し、三次元画像を生成する構成が記載されている。そして、生成した対象物の三次元画像から、当該対象物の動作および姿勢を判断することによって、当該対象物の挙動を解析している。
特開平６－２１３６３２号公報
　しかしながら、上述の特許文献１は、撮像した対象物の三次元画像を生成するために、ステレオカメラおよび、このステレオカメラで撮像した画像を処理して三次元画像を生成する画像処理部を必要とする。したがって、特許文献１は、システムの大型化や、コストアップという問題があった。
　この発明の目的は、オブジェクトの三次元情報を用いることなく、そのオブジェクトの挙動を精度良く判断することができ、且つ、システムの大型化やコストアップが十分に抑えられる挙動解析装置を提供することにある。
　この発明の挙動解析装置は、上述の課題を解決し、その目的を達するために、以下のように構成している。
　オブジェクト抽出手段は、撮像装置が撮像している撮像エリアのフレーム画像を処理し、撮像されているオブジェクトを抽出する。ここで抽出するオブジェクトは、人や物である。位置検出手段は、オブジェク抽出手段が抽出したオブジェクト毎に、撮像エリア内の位置を検出する。さらに、姿勢推定手段が、オブジェク抽出手段が抽出したオブジェクト毎に、その姿勢を推定する。そして、挙動判断手段が、オブジェク抽出手段が抽出したオブジェクト毎に、位置検出手段が検出した撮像エリア内の位置と、姿勢推定手段が推定した姿勢とに基づいて、当該オブジェクトの挙動を判断する。
　姿勢推定手段は、例えば、オブジェクト抽出手段が抽出したオブジェクトの高さと、幅とに基づいて、その姿勢を推定すればよい。具体的には、オブジェクト抽出手段が抽出したオブジェクトを囲む矩形領域を設定し、この矩形領域の高さと幅との比（所謂、アスペクト比）に基づいて姿勢を推定すればよい。
また、姿勢推定手段は、設定したオブジェクトを囲む矩形領域の上辺の高さ、および下辺の高さの変化も加えて、当該オブジェクトの姿勢を推定してもよい。この場合、オブジェクトが人であれば、上辺の高さが下方に変化したときにはしゃがんだと推定でき、下辺の高さが上方に変化したときには、ジャンプしたと推定できる。
　また、姿勢推定手段は、オブジェク抽出手段が抽出したオブジェクトの形状と、姿勢モデル記憶手段がオブジェクトの姿勢別に記憶する形状モデルとの類似度を算出し、ここで算出した類似度に基づいて姿勢を推定してもよい。この場合、算出した類似度が最大であった形状モデルに対応する姿勢を、そのオブジェクトの姿勢として推定すればよい。
また、オブジェクト抽出手段が、複数の撮像装置が異なるアングルで撮像している撮像エリアのフレーム画像毎に、撮像されているオブジェクトを抽出し、同定手段が、抽出されたオブジェクトを、複数の撮像装置のフレーム画像間で同定する構成としてもよい。この場合、姿勢推定手段は、オブジェクト抽出手段が抽出し、同定手段が同定したオブジェクトの姿勢を、複数の撮像装置が撮像しているフレーム画像毎に推定した姿勢の組合せによって判断すればよい。
　また、ロケーション情報記憶手段が、撮像エリアを複数の領域に分割した領域毎に、対応するフレーム画像上での領域と、を対応付けて設定したロケーション情報を記憶する構成としてもよい。この場合、挙動判断手段が、ロケーション情報から得られるオブジェクトが位置する場所の環境を加えて、当該オブジェクトの挙動を判断すればよい。これにより、撮像されている人物等のオブジェクトの挙動を監視装置が撮像している場所に応じて推定できる。
　さらに、オブジェクトマップ作成手段が、オブジェク抽出手段が抽出したオブジェクトについて、位置検出手段が検出した位置と、姿勢推定手段が推定した姿勢とを時系列に登録したオブジェクトマップを作成する構成としてもよい。この場合、挙動判断手段は、オブジェクトマップ作成手段が作成したオブジェクトマップから得られる、時間経過にともなうオブジェクトの位置、および推定した姿勢の変化から当該オブジェクトの挙動を判断すればよい。これにより、オブジェクトの挙動が、そのオブジェクトの動きに基づいて推定できる。
　なお、ここで言うオブジェクトは、人だけでなく、荷物等も含んでいる。
　この発明によれば、オブジェクトの三次元情報を用いることなく、そのオブジェクトの挙動を精度良く判断することができ、システムの大型化やコストアップが十分に抑えられる。
挙動解析装置の主要部の構成を示すブロック図である。 オブジェクトマップを示す図である。 ビデオカメラの撮像エリアを分割した領域毎に設定している場所情報を説明する図である。 ビデオカメラの撮像エリアを分割した領域毎に設定している場所情報を説明する図である。 挙動解析装置の動作を示すフローチャートである。 オブジェクトの種類を判定するフローチャートである。 自動改札機における不正通行の検出を示す図である。 自動改札機における不正通行の検出を示す図である。 自動改札機における不正通行の検出を示す図である。 別の挙動解析装置の主要部の構成を示すブロック図である。 シルエット画像の例を示す図である。 オブジェクトマップを示す図である。 別の挙動解析装置の主要部の構成を示すブロック図である。 オブジェクトマップを示す図である。 挙動判断テーブルを示す図である。
　以下、この発明の実施形態である挙動解析装置の実施形態について説明する。
　図１は、この発明の実施形態にかかる挙動解析装置の主要部の構成を示すブロック図である。この実施形態にかかる挙動解析装置１は、監視カメラとして設置したビデオカメラ２で撮像しているフレーム画像を処理し、撮像されているオブジェクト（人や物）を抽出する。ビデオカメラ２は、１秒間に数十フレーム（例えば、３０フレーム）程度のフレーム画像を画像入力部１２に入力する。ビデオカメラ２は、例えば、駅の改札口や駅ホーム等の監視対象エリアを撮像する。また、挙動解析装置１は、抽出したオブジェクトが人であれば、その人の挙動を判断する。さらに、挙動解析装置１は、抽出したオブジェクトが物であれば、その物を放置した人を探索する機能も有している。
　この挙動解析装置１は、制御部１１と、画像入力部１２と、画像処理部１３と、記憶部１４と、タイマ１５と、通信部１６と、を備えている。制御部１１は、挙動解析装置１本体の動作を制御する。
　画像入力部１２には、接続しているビデオカメラ２が撮像しているフレーム画像が入力される。
　画像処理部１３は、オブジェクト抽出機能１３ａ、および姿勢推定機能１３ｂを有している。オブジェクト抽出機能１３ａは、ビデオカメラ２から入力されたフレーム画像を処理し、撮像されている人や物等をオブジェクトとして抽出する。また、オブジェクト抽出機能１３ａは、抽出したオブジェクトにＩＤを付与するとともに、その位置（フレーム画像上の位置）を検出する。このＩＤは、オブジェクトを識別できるユニークな値である。また、画像処理部１３は、時間的に連続するビデオカメラ２の複数のフレーム画像を処理し、オブジェクトマップを作成することにより、ビデオカメラ２の撮像エリア内に位置しているオブジェクト（ＩＤが付与されている人や物）を追跡する。このオブジェクトマップについては後述する。
画像処理部１３は、時空間ＭＲＦ(Markov Random Field)モデルを利用して、撮像されているオブジェクトの抽出や追跡を行う。時空間ＭＲＦモデルは、公知のように、時空間画像の時間軸方向の相関関係に着目し、ＭＲＦモデルを時空間モデルとして拡張したものである。この時空間ＭＲＦモデルは、処理対象であるフレーム画像に対して数ピクセル×数ピクセル（例えば、８ピクセル×８ピクセル）のブロックで領域分割を行い、時間的に連続するフレーム画像間でのブロック毎の動きベクトルを参照した時間軸方向の相関を定義するモデルである。
　また、姿勢推定機能１３ｂは、オブジェクト抽出機能１３ａが抽出したオブジェクトの姿勢を推定する。具体的には、姿勢推定機能１３ｂは、オブジェクト抽出機能１３ａが抽出したオブジェクトについて、そのオブジェクトを囲む矩形領域を設定する。また、この矩形領域は、抽出したオブジェクトに外接するように設定する。姿勢推定機能１３ｂは、ここで設定した矩形の高さと幅の比、すなわちアスペクト比、に基づき、そのオブジェクトの姿勢を推定する。
　例えば、オブジェクトを囲む矩形領域の高さαと、幅βとの比が、
　β／α＜０６であれば、立ち状態
　０．６＜β／α＜１．５であれば、しゃがみ込み、または飛び跳ね状態
　１．５＜β／αであれば、横たわり状態、
であると推定する。
　なお、ここでは、抽出したオブジェクトに対して矩形領域を設定するとしたが、矩形領域を設定せずに、そのオブジェクトの高さαと、幅βと、を検出し、姿勢を推定してもよい。
　また、挙動解析装置１は、フレーム画像上における位置が予め定めた時間（数十秒程度）変化しないオブジェクトを荷物（放置物）と判断する。この時間は、監視対象エリアに応じて設定すればよい。挙動解析装置１は、オブジェクトマップを参照することにより、オブジェクト毎に、時間経過にともなう位置の変化を得ることができる。
　図２は、オブジェクトマップを示す図である。オブジェクトマップは、図２に示すように、画像処理部１３で抽出したオブジェクト毎に作成する。図２は、抽出したオブジェクトである物体Ａ（図２（Ａ）参照）、および物体Ｂ（図２（Ｂ）参照）について作成されたオブジェクトマップの例である。物体Ａは人であり、物体Ｂは物である。図２に示すように、オブジェクトマップは、物体の種類（人、または物）、姿勢（人のみ）、位置、オブジェクトを囲む矩形領域の上辺の高さ、および下辺の高さ、場所情報、および時刻を対応づけたレコードを時系列に登録したものである。上述したように、画像処理部１３が、このオブジェクトマップを作成する。記憶部１４が、このオブジェクトマップを記憶する。
　図２に示すオブジェクトマップの場所情報は、その場所の環境を示す情報である。例えば、不特定多数の人の通行路であるフロア、自動改札機を設置している改札機エリア、ベンチを設置しているベンチエリアを示す。また、場所情報は、ビデオカメラ２の撮像エリアを図３に示すように分割し、分割した領域毎に設定している。図３（Ａ）は、ビデオカメラ２による改札口周辺の撮像画像を示している。また、図３（Ｂ）は、図３（Ａ）に示す撮像領域に対する場所情報の設定例を示す図である。図４（Ａ）は、ビデオカメラ２による駅ホームの撮像画像を示している。また、図４（Ｂ）は、図４（Ａ）に示す撮像領域に対する場所情報の設定例を示す図である。
　記憶部１４は、挙動解析装置１の動作時に用いる設定パラメータや、動作時に発生した処理データ（上述したオブジェクトマップを含む。）等を記憶する。タイマ１５は、現在時刻を計時する。通信部１６は、図示していない上位装置等との間における通信を制御する。
　この挙動解析装置１は、１つのオブジェクト（単独オブジェクト）の挙動の解析が行えるだけでなく、複数オブジェクト間で関連する挙動の解析も行える。単独オブジェクトの挙動の解析により、自動改札機の不正通行（強行突破）、駅ホームや改札口周辺における徘徊、座り込み、倒れ込み、滞留、酔客等の検知が行える。また、複数オブジェクトの挙動の解析により、自動改札機の不正通行（共連れ）、不審物の置き去り、持ち去り、口論、つきまとい、キャッチセールス、通り魔等の検知が行える。
　以下、この実施形態にかかる挙動解析装置１の動作について説明する。
　図５は、この挙動解析装置の動作を示すフローチャートである。挙動解析装置１は、画像処理部１３において、画像入力部１２に入力されたビデオカメラ２で撮像しているフレーム画像を処理し、撮像されているオブジェクト（人や、物）を抽出する（Ｓ１）。Ｓ１では、例えば、背景との差分画像を生成し、この差分画像から撮像されている物体を抽出する。
　画像処理部１３は、前回処理したフレーム画像で抽出した人物と、Ｓ１で抽出した人物と、を対応付ける（Ｓ２）。画像処理部１３は、時空間ＭＲＦモデルを用い、人物を、８ピクセル×８ピクセルのブロックを単位とする人物領域として抽出する。Ｓ２では、前回処理したフレーム画像で抽出した人物と、Ｓ１で抽出した人物と、を対応付けることにより、今回抽出した人物の移動方向や移動量を得ることができ、抽出した人物の追跡が行える。
　また、今回の処理で抽出した人物であって、前回の処理で抽出されていなかった人物（すなわち、今回初めて抽出した人物）については、仮ＩＤを付与する（Ｓ３、Ｓ４）。この仮ＩＤが付与される人物は、前回のフレーム画像の処理から、今回のフレーム画像の処理までの間に、ビデオカメラ２の撮像エリア内に入ってきた人物である。
　なお、前回の処理で抽出されていたが、今回の処理で抽出されなかった人物は、前回のフレーム画像の処理から、今回のフレーム画像の処理までの間に、ビデオカメラ２の撮像エリア外に出た人物である。
　画像処理部１３は、今回抽出した人物毎に、その人物を囲む矩形領域を設定する（Ｓ５）。画像処理部１３は、今回抽出した人物毎に、Ｓ５で設定した矩形領域の高さ、および幅を検出し、アスペクト比（縦横比）を算出し、その人物（人のみ）の姿勢を推定する（Ｓ６）。Ｓ６では、上述したように、オブジェクトを囲む矩形領域の高さαと、幅βとの比が、
　β／α＜０６であれば、立ち状態
　０．６＜β／α＜１．５であれば、しゃがみ込み、または飛び跳ね状態
　１．５＜β／αであれば、横たわり状態、
であると推定する。
　また、Ｓ６では、今回抽出した人物毎に、設定した矩形領域の上辺の高さ、および下辺の高さを検出する。
　画像処理部１３は、今回処理したフレーム画像から抽出したオブジェクト毎に、オブジェクトマップに登録するレコードを生成する（Ｓ７）。Ｓ７では、図２に示したように、オブジェクトの種類（人、または物）、姿勢（人のみ）、位置、オブジェクトを囲む矩形領域の上辺の高さ、および下辺の高さ、場所情報、および時刻を対応づけたレコードを生成する。
　なお、抽出したオブジェクトが人、または物であるかの判定は、位置が変化することなく一定時間経過したときに、物であるとする。言い換えれば、一定時間経過する前に、位置が変化している物体（移動している物体）であれば人と判定する。人、または物の判定にかかる詳細については、後述する。
　挙動解析装置１は、Ｓ７で生成したレコードをオブジェクトマップに登録する（Ｓ８）。挙動解析装置１は、このオブジェクトマップを記憶部１４に記憶する。
　挙動解析装置１は、上述したＳ１～Ｓ８にかかる処理を繰り返すことにより、ビデオカメラ２の撮像エリア内に位置する人や、物にかかるオブジェクトマップ（図２参照）を作成し、記憶部１４に記憶する。
　次に、上述した処理で作成したオブジェクトマップに基づき、オブジェクトの種類（人、または物）を判定する手法について説明する。
　制御部１１は、上述したオブジェクトマップに基づき、この判定を行う。この判定は、人、または物のどちらであるか判定していないオブジェクトについてのみ行い、すでに同判定を行っているオブジェクトについては、この判定を繰り返し行わない。図６は、このオブジェクトの種類を判定するフローチャートである。
　制御部１１は、種類を判定していないオブジェクトをオブジェクトマップから抽出する（Ｓ１１）。制御部１１は、Ｓ１１で抽出したオブジェクト毎に、過去１０フレームの撮像画像の処理で位置が変化していないかどうかを判定する（Ｓ１２）。制御部１１は、位置が変化しているオブジェクトを人であると判定する。一方、過去１０フレームの撮像画像の処理で位置が変化していないオブジェクトであれば、そのオブジェクトが過去５０フレーム前のフレーム画像に存在しているかどうかを判定する（Ｓ１３）。このＳ１３は、オブジェクトが、一時的に他のオブジェクトの影になってビデオカメラ２に撮像されなかった設置物であるかどうかを判定している。制御部１１は、Ｓ１３で過去５０フレーム前のフレーム画像にも存在していないオブジェクトであれば、そのオブジェクトを物（放置物）であると判定する（Ｓ１４）。
　なお、制御部１１は、Ｓ１２で過去１０フレームの撮像画像の処理で位置が変化していると判定した場合、そのオブジェクトを人であると判定する（Ｓ１５）。また、制御部１１は、Ｓ１３で過去５０フレーム前のフレーム画像に存在しているオブジェクトであると判定した場合、このオブジェクトを設置物であると判定する（Ｓ１６）。
　このように、挙動解析装置１は、ビデオカメラ２の撮像エリア内に位置するオブジェクトの種類を判定する。
　また、挙動解析装置１は、上述した処理で作成したオブジェクトマップを用いることで、Ｓ１４で放置物と判定したオブジェクトを放置した人の探索が行える。具体的には、その放置物が検出される直前に、その場所に位置していた人をオブジェクトマップから検索する。これにより、この放置物を放置した人が特定できる。同様に、オブジェクトマップを用いることで、喧嘩や口論等に関わった人の探索が行える。
また、上述したように、オブジェクトマップにはオブジェクトが位置している場所を示す場所情報が対応づけられている。オブジェクトのアスペクト比を用いることで、当該オブジェクト（人）の挙動を精度良く判定できる。例えば、オブジェクトである人が位置している場所の場所情報がフロアであり、姿勢が横たわり状態である場合、酔客等の倒れ込みであると判断できる。また、オブジェクトである人が位置している場所の場所情報がベンチであり、姿勢がしゃがみ込み状態である場合、ベンチに座っていると判断できる。また、オブジェクトである人が位置している場所の場所情報がベンチであり、姿勢が横たわり状態である場合、ベンチに横たわっていると判断できる。また、オブジェクトである人が位置している場所の場所情報がごみ箱エリアであり、姿勢が立ち状態であれば、ゴミ箱をあさっていると判断できる。
　なお、酔客であるかどうかの判断は、その人の移動速度から判断すればよい。一般に酔客は、移動速度が遅い。移動速度は、オブジェクトマップから得られる。
　また、上述したように、オブジェクトマップには、オブジェクトを囲む矩形領域の上辺の高さ、および下辺の高さが登録されているので、その人が飛び上がったのか、しゃがんだのか判断できる。すなわち下辺の高さが床面よりも上方に位置していれば飛び上がったと判断でき、下辺の高さが床面に位置していればしゃがんだと判断できる。
　また、図７に示すように、自動改札機のゲートをしゃがんで不正に通行した場合、その不正通行者を囲む矩形の上辺が一時的（図７（Ｂ）参照）に下がる。図７（Ａ）は、自動改札機の通路に進入する直前のフレーム画像を示している。図７（Ｂ）は、自動改札機の通路を通行しているとき（しゃがんでいる状態）のフレーム画像を示している。図７（Ｃ）は、自動改札機の通路から退出したときのフレーム画像を示している。すなわち、自動改札機の通路を通行している人が、一時的にしゃがんだことを検出したとき、自動改札機の不正通行者であると判断できる。
　また、図８に示すように、自動改札機のゲートを飛び越えて不正に通行した場合、その不正通行者を囲む矩形の下辺が一時的（図８（Ｂ）参照）に上がる。図８（Ａ）は、自動改札機の通路に進入する直前のフレーム画像を示している。図８（Ｂ）は、自動改札機の通路を通行しているとき（ゲートを飛び越えている状態）のフレーム画像を示している。図８（Ｃ）は、自動改札機の通路から退出したときのフレーム画像を示している。すなわち、自動改札機の通路を通行している人が、一時的に飛び跳ねたことを検出したとき、自動改札機の不正通行者であると判断できる。
　なお、オブジェクト（通行者）を囲む矩形のアスペクト比を用いて状態を判断しているので、立ち状態である通行者を、しゃがんだ、または飛び跳ねたとする誤判断が抑えられる。
　さらに、自動改札機から得られる通行者の人数を用いて、共連れにかかる不正通行の検出も行える。例えば、図９（Ａ）は、自動改札機の通路に進入する直前のフレーム画像を示している。図９（Ｂ）は、自動改札機の通路を通行しているときのフレーム画像を示している。図９（Ｃ）は、自動改札機の通路から退出したときのフレーム画像を示している。図９（Ａ）、（Ｃ）に示すように、自動改札機の入口、または出口で２人の人を検出していた場合に、自動改札機から得られた改札通路の通行者の人数が１人であれば、共連れであると判断できる。
　このように、この実施形態にかかる挙動解析装置１は、抽出したオブジェクトの高さと、幅の比であるアスペクト比に基づいて、そのオブジェクトの挙動を判断する。すなわち、この挙動解析装置１は、オブジェクトの三次元情報を用いないので、システムの大型化やコストアップが十分に抑えられる。
　次に、この発明の別の実施形態について説明する。この別の実施形態にかかる挙動解析装置１も図１０に示す構成である。図１０に示すように、この例の挙動解析装置１は、姿勢モデル記憶部２１を備えている点で、上記例の挙動解析装置と異なる。また、後述するように、Ｓ６にかかる姿勢を推定する処理が異なる。
　姿勢モデル記憶部２１は、オブジェクトの姿勢毎に特徴量のモデルベクトルを記憶している。このモデルベクトルは、姿勢毎に、ビデオカメラ２で撮像したオブジェクトの画像を処理し得たものである。具体的には、姿勢毎に、ビデオカメラ２でオブジェクトを撮像し、その撮像画像に撮像されているオブジェクトを抽出する。抽出したオブジェクトについて、そのオブジェクトを囲む矩形領域を設定する。ここで設定した矩形領域内におけるオブジェクトと、それ以外と、を区別したシルエット画像（２値化画像）を生成する（図１１参照）。図１１（Ａ）、（Ｂ）は、ベンチに座っている人のシルエット画像であり、図１１（Ｃ）はフロアに座っている人のシルエット画像である。図１１（Ａ）は、背筋を延ばした状態の人であり、図１１（Ｂ）、（Ｃ）は、背中を丸めて、頭を下げている状態の人である。このシルエット画像における、垂直方向のヒストグラム（ｘ１～ｘｎ）、および水平方向のヒストグラム（ｙ１～ｙｍ）に基づいて作成した特徴量ベクトルを、該当する姿勢のモデルベクトルＸとして、姿勢モデル記憶部２１に記憶している。モデルベクトルＸは、以下のようにして作成する。
作成に用いるシルエット画像の大きさの違いによる影響を抑えるため、シルエット画像を垂直方向にｎ分割（図１１では、ｎ＝８）、水平方向にｍ分割（図１１では、ｍ＝８）した大きさに正規化し、垂直方向のヒストグラム（ｘ１～ｘｎ）、および水平方向のヒストグラム（ｙ１～ｙｍ）を作成する。モデルベクトルＸは、作成した垂直方向のヒストグラム、および水平方向のヒストグラムに基づく、ｎ＋ｍ（図１１では、８＋８＝１６）次元ベクトル（ｘ１、ｘ２、・・・ｘｎ、ｙ１、ｙ２、・・・ｙｍ）である。
　また、この挙動解析装置１は、図１２に示すオブジェクトマップを作成する。上記の例と異なる点は、抽出したオブジェクトを囲む矩形領域の上辺の高さ、および下辺の高さを登録していない点である。
　次に、この挙動解析装置１におけるオブジェクトの姿勢を推定する処理（上述のＳ６にかかる処理）について説明する。
　上述したように、画像処理部１３のオブジェクト抽出機能１３ａが、Ｓ５で、今回抽出した人物毎に、その人物を囲む矩形領域を設定する。姿勢推定機能１３ｂは、今回抽出したオブジェクト毎に、Ｓ５で設定した矩形領域内におけるオブジェクトと、それ以外と、を区別したシルエット画像を生成する。オブジェクト抽出機能１３ａは、ここで生成したシルエット画像における、垂直方向のヒストグラム（ｘ１～ｘｎ）、および水平方向のヒストグラム（ｙ１～ｙｍ）に基づいて、このオブジェクトの特徴量ベクトルＹを得る。このオブジェクトの特徴量ベクトルＹも、上述したモデルベクトルＸと同様に、シルエット画像を垂直方向にｎ分割、水平方向にｍ分割した大きさに正規化し作成した垂直方向のヒストグラム（ｘ１～ｘｎ）、および水平方向のヒストグラム（ｙ１～ｙｍ）に基づく、ｎ＋ｍ（図１１では、８＋８＝１６）次元ベクトル（ｘ１、ｘ２、・・・ｘｎ、ｙ１、ｙ２、・・・ｙｍ）である。
　姿勢推定機能１３ｂは、オブジェクト毎に、そのオブジェクトについて取得した特徴量ベクトルＹと、姿勢モデル記憶部２１が記憶している各姿勢のモデルベクトルＸとの距離（類似度）を算出する。そして、ここで算出した類似度が、最小で、且つ、予め定めた閾値未満であるモデルベクトルＸに対応する姿勢を、このオブジェクトの姿勢と推定する。一方、算出した類似度が、最小であっても、予め定めた閾値未満でなければ、オブジェクトの姿勢を不明とする。
　なお、この挙動解析装置１は、Ｓ６以外の処理については上記の例と同じである。
　このように、この例にかかる挙動解析装置１は、シルエット画像からオブジェクト（人）の姿勢を推定するので、例えばベンチに座っている人が、背筋を延ばして座っているのか、背中を丸め、頭を下げてうずくまっているのか等の違いについても判別できる。
　また、挙動解析装置１は、図１３に示すように、ビデオカメラ２（２Ｘ、２Ｙ）、画像入力部１２（１２Ｘ、１２Ｙ）、画像処理部１３（１３Ｘ、１３Ｙ）を２系統設けた構成としてもよい。
　この例にかかる挙動解析装置１は、監視カメラとして設置した２台のビデオカメラ２（２Ｘ、２Ｙ）で撮像しているフレーム画像を処理し、撮像されているオブジェクト（人や物）を抽出する。ビデオカメラ２Ｘ、２Ｙは、上述した例のものと同じである。２台のビデオカメラ２Ｘ、２Ｙは、同じ監視対象エリアを撮像する。監視対象エリアに対する、ビデオカメラ２Ｘのアングル（撮像方向）と、ビデオカメラ２Ｙのアングル（撮像方向）とは、略９０°異なる。
　画像入力部１２Ｘには、接続しているビデオカメラ２Ｘが撮像しているフレーム画像が入力される。画像入力部１２Ｙは、接続しているビデオカメラ２Ｙが撮像しているフレーム画像が入力される。
　画像処理部１３Ｘは、画像入力部１２Ｘに入力されたビデオカメラ２Ｘの撮像画像を処理する。画像処理部１３Ｙは、画像入力部１２Ｙに入力されたビデオカメラ２Ｙの撮像画像を処理する。この画像処理部１３（１３Ｘ、１３Ｙ）も、オブジェクト抽出機能１３ａ、および姿勢推定機能１３ｂを有している。画像処理部１３（１３Ｘ、１３Ｙ）は、上述したシルエット画像から、撮像されているオブジェクトの姿勢を推定する処理を行う。
　より具体的には、画像処理部１３Ｘは、ビデオカメラ２Ｘが撮像した監視対象エリアの撮像画像に撮像されているオブジェクトの姿勢を推定する。また画像処理部１３Ｙは、ビデオカメラ２Ｙが撮像した監視対象エリアの撮像画像に撮像されているオブジェクトの姿勢を推定する。言い換えれば、監視対象エリア内に位置するオブジェクトは、ビデオカメラ２Ｘが撮像した撮像画像によって姿勢が推定されるとともに、ビデオカメラ２Ｙが撮像した撮像画像によっても姿勢が推定される。
　この例では、生成されるオブジェクトマップは、Ｓ７で画像処理部１３Ｘが生成したレコードと、画像処理部１３Ｙが生成したレコードと、を統合したレコードを登録したものである。このレコードの統合にかかる処理は、制御部１１が行う。
　制御部１１は、画像処理部１３Ｘが抽出したオブジェクトと、画像処理部１３Ｙが抽出したオブジェクトを対応づける（同定する）同定処理を行う。
　ここで、画像処理部１３Ｘが抽出したオブジェクトと、画像処理部１３Ｙが抽出したオブジェクトを同定する同定処理について説明する。
　挙動解析装置１は、ビデオカメラ２Ｘが撮像したフレーム画像の２次元座標系と、ビデオカメラ２Ｙが撮像したフレーム画像の２次元座標系と、の相対的な位置関係を示す座標変換情報を記憶部１４に記憶している。この座標変換情報は、ビデオカメラ２Ｘが撮像したフレーム画像の２次元座標系と、ビデオカメラ２Ｙが撮像したフレーム画像の２次元座標系と、を共通の座標系に射影変換する情報である。ここでは、この座標変換情報として、以下に示す、第１の座標変換パラメータと、第２の座標変換パラメータと、を記憶部１４に記憶している。第１の座標変換パラメータは、ビデオカメラ２Ｘが撮像したフレーム画像の２次元座標系を、ビデオカメラ２Ｙが撮像したフレーム画像の２次元座標系に射影変換するパラメータである。第２の座標変換パラメータは、ビデオカメラ２Ｙが撮像したフレーム画像の２次元座標系を、ビデオカメラ２Ｘが撮像したフレーム画像の２次元座標系に射影変換するパラメータである。
　なお、座標変換情報は、第１の座標変換パラメータ、または第２の座標変換パラメータのどちらか一方のみであってもよい。
　ここで、第１の座標変換パラメータ、および第２の座標変換パラメータについて説明しておく。この第１の座標変換パラメータ、および第２の座標変換パラメータは、ビデオカメラ２Ｘ、２Ｙの設置時に、実際に撮像したフレーム画像を用いて算出した値である。
　まず、ビデオカメラ２Ｘ、２Ｙの設置完了時に、テープ等を用いて、監視対象エリア内の床面に４点をマーキングする。そして、ビデオカメラ２Ｘで撮像したフレーム画像を処理し、このフレーム画像上におけるマーキングした４点の座標位置（ｘ，ｙ）を検出する。同様に、ビデオカメラ２Ｙで撮像したフレーム画像上におけるマーキングした４点の座標位置（Ｘ，Ｙ）を検出する。そして、マーキングした点毎に、その座標位置を、
　Ｘ＝（ａ１ｘ＋ｂ１ｙ＋ｃ１）／（ａ０ｘ＋ｂ０ｙ＋１）
　Ｙ＝（ａ２ｘ＋ｂ２ｙ＋ｃ２）／（ａ０ｘ＋ｂ０ｙ＋１）
に代入し、８元連立方程式を得る。この８元連立方程式の解である、ａ０，ｂ０，ａ１，ｂ１，ｃ１，ａ２，ｂ２，ｃ２の８個の定数が、ビデオカメラ２Ｘが撮像したフレーム画像の２次元座標系を、ビデオカメラ２Ｙが撮像したフレーム画像の２次元座標系に射影変換する第１の座標変換パラメータである。
　同様に、マーキングした点毎に、その座標位置を、
　ｘ＝（Ａ１Ｘ＋Ｂ１Ｙ＋Ｃ１）／（Ａ０Ｘ＋Ｂ０Ｙ＋１）
　ｙ＝（Ａ２Ｘ＋Ｂ２Ｙ＋Ｃ２）／（Ａ０Ｘ＋Ｂ０Ｙ＋１）
に代入し、８元連立方程式を得る。この８元連立方程式の解である、Ａ０，Ｂ０，Ａ１，Ｂ１，Ｃ１，Ａ２，Ｂ２，Ｃ２の８個の定数が、ビデオカメラ２Ｙが撮像したフレーム画像の２次元座標系を、ビデオカメラ２Ｘが撮像したフレーム画像の２次元座標系に射影変換する第２の座標変換パラメータである。
　ビデオカメラ２Ｘ、２Ｙが撮像したフレーム画像上におけるオブジェクトの同定は、一方のビデオカメラ２Ｘに撮像されているオブジェクト毎に、フレーム画像上の座標位置を取得する。また、他方のビデオカメラ２Ｙに撮像されているオブジェクト毎に、フレーム画像上の座標位置を取得する。これらは、画像処理部１３Ｘ，１３ＹがＳ７で作成したレコードから取得できる。そして、オブジェクトを、１対１で対応付ける組み合せパターンを作成する。ここで作成される組み合せのパターン数は、例えば、オブジェクトが２つであれば２通りであり、また３つであれば６通りである。
　また、挙動解析装置１は、一方のビデオカメラ２Ｘに撮像されているオブジェクト毎に、第１の座標変換パラメータを用いて、そのオブジェクトの座標位置を他方のビデオカメラ２Ｙが撮像したフレーム画像の２次元座標系に射影変換する。挙動解析装置１は、オブジェクトの組み合せパターン毎に、他方のビデオカメラ２Ｙが撮像したフレーム画像の２次元座標系での、対応するオブジェクト間の距離の総和である第１の距離エネルギーを算出する。
また、挙動解析装置１は、他方のビデオカメラ２Ｙに撮像されているオブジェクト毎に、第２の座標変換パラメータを用いて、そのオブジェクトの座標位置を一方のビデオカメラ２Ｘが撮像したフレーム画像の２次元座標系に射影変換する。挙動解析装置１は、オブジェクトの組み合せパターン毎に、一方のビデオカメラ２Ｘが撮像したフレーム画像の２次元座標系での、対応するオブジェクト間の距離の総和である第２の距離エネルギーを算出する。
　そして、挙動解析装置１は、受け渡しエリアに位置するオブジェクトの組合せの中で、第１の距離エネルギーと、第２の距離エネルギーとの和が最小である組み合せパターンを、撮像されているオブジェクトの適正な対応付けと判断し、同定する。
　この統合したレコードを、オブジェクトマップに登録する。このオブジェクトマップには、図１４に示すように、画像処理部１３Ｘが推定したオブジェクトの姿勢、および画像処理部１３Ｙが推定したオブジェクトの姿勢がともに登録される。
　また、この挙動解析装置１は、オブジェクトの挙動を、画像処理部１３Ｘが推定したオブジェクトの姿勢、および画像処理部１３Ｙが推定したオブジェクトの姿勢を用いて判断する。例えば、図１５に示す、挙動判断テーブルを記憶部１４に記憶している。この挙動判断テーブルは、改札機エリア（図１５（Ａ）参照）、ベンチエリア（図１５（Ｂ）参照）、フロア（図１５（Ｃ）参照）等の場所毎に記憶している。挙動判断テーブルは、画像処理部１３Ｘが推定したオブジェクトの姿勢、および画像処理部１３Ｙが推定したオブジェクトを、オブジェクトの挙動に対応づけるテーブルである。例えば、改札機エリアであれば、画像処理部１３Ｘが推定したオブジェクトの姿勢、および画像処理部１３Ｙが推定したオブジェクトの姿勢がともに、立ち状態であれば適性利用者と判断する。一方、画像処理部１３Ｘが推定したオブジェクトの姿勢、または画像処理部１３Ｙが推定したオブジェクトの姿勢の少なくとも一方が、立ち状態でなければ、不正利用者（異常行動）と判断する。
　また、監視対象エリアに対する、ビデオカメラ２Ｘのアングルと、ビデオカメラ２Ｙのアングルとを、略９０°異ならせているので、オブジェクトが人である場合、少なくとも一方のビデオカメラ２で、このオブジェクトを横方向から撮像することができ、その姿勢の推定精度を向上させることができる。また、オブジェクトがオクルージョンによって、一方のビデオカメラ２で撮像されなくても、他方のビデオカメラ２で撮像される可能性が高く、オブジェクトの抽出精度の向上が図れる。
　なお、上記の例では、ビデオカメラ２（２Ｘ、２Ｙ）、画像入力部１２（１２Ｘ、１２Ｙ）、画像処理部１３（１３Ｘ、１３Ｙ）を２系統設けた構成を示したが、３系統以上設けた構成としてもよい。
　また、上記の説明では、挙動解析装置１を自動改札機や駅ホームにおけるオブジェクトの挙動を判断する場合を例示したが、その他の場所にも適用可能である。
　１…挙動解析装置
　２（２Ｘ、２Ｙ）…ビデオカメラ
　１１…制御部
　１２（１２Ｘ、１２Ｙ）…画像入力部
　１３（１３Ｘ、１３Ｙ）…画像処理部
　１３ａ…オブジェクト抽出機能
　１３ｂ…姿勢推定機能
　１４…記憶部
　１５…タイマ
　１６…通信部
　２１…姿勢モデル記憶部

Claims (9)

  1. 　撮像装置が撮像している撮像エリアのフレーム画像を処理し、撮像されているオブジェクトを抽出するオブジェクト抽出手段と、
    　前記オブジェク抽出手段が抽出したオブジェクト毎に、撮像エリア内の位置を検出する位置検出手段と、
    　前記オブジェク抽出手段が抽出したオブジェクト毎に、その姿勢を推定する姿勢推定手段と、
    　前記オブジェク抽出手段が抽出したオブジェクト毎に、前記位置検出手段が検出した撮像エリア内の位置と、前記姿勢推定手段が推定した姿勢とに基づいて、当該オブジェクトの挙動を判断する挙動判断手段と、を備えた挙動解析装置。
  2. 　前記姿勢推定手段は、前記オブジェク抽出手段が抽出したオブジェクト毎に、そのオブジェクトの高さと、幅とに基づいて姿勢を推定する、請求項１に記載の挙動解析装置。
  3. 　前記姿勢推定手段は、前記オブジェク抽出手段が抽出したオブジェクト毎に、そのオブジェクトを囲む矩形領域を設定し、この矩形領域の高さと、幅との比に基づいて姿勢を推定する、請求項２に記載の挙動解析装置。
  4. 　前記姿勢推定手段は、設定したオブジェクトを囲む矩形領域の上辺の高さ、および下辺の高さも加えて、当該オブジェクトの姿勢を推定する、請求項３に記載の挙動解析装置。
  5. 　オブジェクトの姿勢別に、その姿勢におけるオブジェクトの形状モデルを記憶する姿勢モデル記憶手段を備え、
    　前記姿勢推定手段は、前記オブジェク抽出手段が抽出したオブジェクト毎に、前記姿勢モデル記憶手段が記憶する形状モデルとの類似度を算出し、ここで算出した類似度に基づいて姿勢を推定する、請求項１に記載の挙動解析装置。
  6. 　前記姿勢推定手段は、算出した類似度が最大である形状モデルに対応する姿勢を、そのオブジェクトの姿勢として推定する、請求項５に記載の挙動解析装置。
  7. 　前記オブジェクト抽出手段は、複数の撮像装置が異なるアングルで撮像している前記撮像エリアのフレーム画像毎に、撮像されているオブジェクトを抽出し、
    　前記オブジェクト抽出手段が抽出したオブジェクトを、前記複数の撮像装置のフレーム画像間で同定する同定手段を備え、
    　前記挙動判断手段は、前記オブジェクト抽出手段が抽出し、前記同定手段が同定したオブジェクトの姿勢を、前記複数の撮像装置が撮像しているフレーム画像毎に推定した姿勢の組合せによって判断する、請求項５に記載の挙動解析装置。
  8. 　撮像エリアを複数の領域に分割した領域毎に、対応するフレーム画像上での領域と、その場所の環境と、を対応付けて設定したロケーション情報を記憶するロケーション情報記憶手段を備え、
    　前記挙動判断手段は、前記ロケーション情報から得られるオブジェクトが位置する場所の環境を加えて、当該オブジェクトの挙動を判断する、請求項１に記載の挙動解析装置。
  9. 　前記オブジェク抽出手段が抽出したオブジェクトについて、前記位置検出手段が検出した位置と、前記姿勢検知手段が検知した姿勢とを時系列に登録したオブジェクトマップを作成するオブジェクトマップ作成手段を備え、
    　前記挙動判断手段は、前記オブジェクトマップ作成手段が作成したオブジェクトマップから得られる、時間経過にともなうオブジェクトの位置の変化、および推定した姿勢の変化から当該オブジェクトの挙動を判断する、請求項８に記載の挙動解析装置。
PCT/JP2011/068247 2010-08-31 2011-08-10 挙動解析装置 WO2012029518A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US13/820,084 US8965050B2 (en) 2010-08-31 2011-08-10 Behavior analysis device
JP2012531775A JP5559335B2 (ja) 2010-08-31 2011-08-10 挙動解析装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2010-193109 2010-08-31
JP2010193109 2010-08-31
JP2011034096 2011-02-21
JP2011-034096 2011-02-21

Publications (1)

Publication Number Publication Date
WO2012029518A1 true WO2012029518A1 (ja) 2012-03-08

Family

ID=45772623

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/068247 WO2012029518A1 (ja) 2010-08-31 2011-08-10 挙動解析装置

Country Status (3)

Country Link
US (1) US8965050B2 (ja)
JP (1) JP5559335B2 (ja)
WO (1) WO2012029518A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013232181A (ja) * 2012-04-06 2013-11-14 Canon Inc 画像処理装置、画像処理方法
JP2014006673A (ja) * 2012-06-22 2014-01-16 Canon Inc 映像処理装置、映像処理装置の制御方法、およびプログラム
WO2014010203A1 (ja) * 2012-07-13 2014-01-16 日本電気株式会社 転倒検知装置および転倒検知方法、転倒検知カメラ、並びにコンピュータ・プログラム
JP2017500659A (ja) * 2013-12-20 2017-01-05 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ 不均一なサイズの空間領域に関するメタデータを生成するためのシステム、方法、および装置
KR20190112629A (ko) * 2018-03-26 2019-10-07 한국전자통신연구원 영상 분석 기반의 취객 감지 장치 및 방법
JP2021087065A (ja) * 2019-11-26 2021-06-03 西日本旅客鉄道株式会社 駅監視システム
CN113627255A (zh) * 2021-07-07 2021-11-09 中国科学院自动化研究所 一种小鼠行为量化分析方法、装置、设备及可读存储介质

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9953304B2 (en) * 2012-12-30 2018-04-24 Buzd, Llc Situational and global context aware calendar, communications, and relationship management
JP6297822B2 (ja) * 2013-11-19 2018-03-20 ルネサスエレクトロニクス株式会社 検知装置、検知システム及び検知方法
US9589595B2 (en) 2013-12-20 2017-03-07 Qualcomm Incorporated Selection and tracking of objects for display partitioning and clustering of video frames
GB201501510D0 (en) * 2015-01-29 2015-03-18 Apical Ltd System
KR102015588B1 (ko) * 2015-07-16 2019-08-28 한화테크윈 주식회사 배회 경보 방법 및 장치
WO2017037754A1 (en) * 2015-08-28 2017-03-09 Nec Corporation Analysis apparatus, analysis method, and storage medium
WO2017056385A1 (ja) * 2015-09-29 2017-04-06 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
KR102118336B1 (ko) * 2016-05-20 2020-06-04 전자부품연구원 공간 행동 의미 분석 시스템 및 공간 행동 의미 분석 방법
WO2018128015A1 (ja) * 2017-01-05 2018-07-12 日本電気株式会社 不審度推定モデル生成装置
US11450148B2 (en) 2017-07-06 2022-09-20 Wisconsin Alumni Research Foundation Movement monitoring system
US10810414B2 (en) * 2017-07-06 2020-10-20 Wisconsin Alumni Research Foundation Movement monitoring system
WO2019196934A1 (en) * 2018-04-13 2019-10-17 Shanghai Truthvision Information Technology Co., Ltd. System and method for abnormal scene detection
US10943128B2 (en) * 2018-11-01 2021-03-09 Ncr Corporation Constructing shopper carts using video surveillance
US11587361B2 (en) * 2019-11-08 2023-02-21 Wisconsin Alumni Research Foundation Movement monitoring system
CN111126257B (zh) * 2019-12-23 2023-08-11 上海商汤智能科技有限公司 行为检测方法及装置
GB2610414A (en) * 2021-09-03 2023-03-08 Integrated Design Ltd Anti-climb system
CN115937743B (zh) * 2022-12-09 2023-11-14 武汉星巡智能科技有限公司 基于图像融合的婴幼儿看护行为识别方法、装置及***

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06213632A (ja) * 1993-01-14 1994-08-05 A T R Tsushin Syst Kenkyusho:Kk 画像計測装置
JP2001056853A (ja) * 1999-08-19 2001-02-27 Matsushita Electric Ind Co Ltd 挙動検出装置および種類識別装置、並びに挙動検出方法および挙動検出用プログラムが記録された記録媒体
JP2002197463A (ja) * 2000-12-26 2002-07-12 Matsushita Electric Ind Co Ltd 挙動検出装置および挙動検出システム
JP2002344946A (ja) * 2001-05-16 2002-11-29 Oki Electric Ind Co Ltd 監視装置
JP2010237873A (ja) * 2009-03-30 2010-10-21 Sogo Keibi Hosho Co Ltd 姿勢変化検出装置、姿勢変化検出方法、及び姿勢変化検出プログラム
JP2010244089A (ja) * 2009-03-31 2010-10-28 Sogo Keibi Hosho Co Ltd 人物検出装置、人物検出方法、及び人物検出プログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7336296B2 (en) * 2003-10-10 2008-02-26 International Business Machines Corporation System and method for providing position-independent pose estimation
US7671725B2 (en) * 2006-03-24 2010-03-02 Honda Motor Co., Ltd. Vehicle surroundings monitoring apparatus, vehicle surroundings monitoring method, and vehicle surroundings monitoring program
AU2008264232B2 (en) * 2008-12-30 2012-05-17 Canon Kabushiki Kaisha Multi-modal object signature

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06213632A (ja) * 1993-01-14 1994-08-05 A T R Tsushin Syst Kenkyusho:Kk 画像計測装置
JP2001056853A (ja) * 1999-08-19 2001-02-27 Matsushita Electric Ind Co Ltd 挙動検出装置および種類識別装置、並びに挙動検出方法および挙動検出用プログラムが記録された記録媒体
JP2002197463A (ja) * 2000-12-26 2002-07-12 Matsushita Electric Ind Co Ltd 挙動検出装置および挙動検出システム
JP2002344946A (ja) * 2001-05-16 2002-11-29 Oki Electric Ind Co Ltd 監視装置
JP2010237873A (ja) * 2009-03-30 2010-10-21 Sogo Keibi Hosho Co Ltd 姿勢変化検出装置、姿勢変化検出方法、及び姿勢変化検出プログラム
JP2010244089A (ja) * 2009-03-31 2010-10-28 Sogo Keibi Hosho Co Ltd 人物検出装置、人物検出方法、及び人物検出プログラム

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9699419B2 (en) 2012-04-06 2017-07-04 Canon Kabushiki Kaisha Image processing apparatus and image processing method
JP2013232181A (ja) * 2012-04-06 2013-11-14 Canon Inc 画像処理装置、画像処理方法
US9639759B2 (en) 2012-06-22 2017-05-02 Canon Kabushiki Kaisha Video processing apparatus and video processing method
JP2014006673A (ja) * 2012-06-22 2014-01-16 Canon Inc 映像処理装置、映像処理装置の制御方法、およびプログラム
JPWO2014010203A1 (ja) * 2012-07-13 2016-06-20 日本電気株式会社 転倒検知装置および転倒検知方法、転倒検知カメラ、並びにコンピュータ・プログラム
WO2014010203A1 (ja) * 2012-07-13 2014-01-16 日本電気株式会社 転倒検知装置および転倒検知方法、転倒検知カメラ、並びにコンピュータ・プログラム
JP2017500659A (ja) * 2013-12-20 2017-01-05 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ 不均一なサイズの空間領域に関するメタデータを生成するためのシステム、方法、および装置
US10346465B2 (en) 2013-12-20 2019-07-09 Qualcomm Incorporated Systems, methods, and apparatus for digital composition and/or retrieval
KR20190112629A (ko) * 2018-03-26 2019-10-07 한국전자통신연구원 영상 분석 기반의 취객 감지 장치 및 방법
KR102222324B1 (ko) * 2018-03-26 2021-03-03 한국전자통신연구원 영상 분석 기반의 취객 감지 장치 및 방법
JP2021087065A (ja) * 2019-11-26 2021-06-03 西日本旅客鉄道株式会社 駅監視システム
CN113627255A (zh) * 2021-07-07 2021-11-09 中国科学院自动化研究所 一种小鼠行为量化分析方法、装置、设备及可读存储介质
CN113627255B (zh) * 2021-07-07 2024-05-24 中国科学院自动化研究所 一种小鼠行为量化分析方法、装置、设备及可读存储介质

Also Published As

Publication number Publication date
US8965050B2 (en) 2015-02-24
JP5559335B2 (ja) 2014-07-23
US20130164722A1 (en) 2013-06-27
JPWO2012029518A1 (ja) 2013-10-28

Similar Documents

Publication Publication Date Title
JP5559335B2 (ja) 挙動解析装置
JP6741130B2 (ja) 情報処理システム、情報処理方法及びプログラム
KR102153591B1 (ko) 영상 감시 시스템에서의 실시간 쓰레기 투기 행위 탐지 방법 및 장치
KR101788269B1 (ko) 이상 상황을 감지하는 장치 및 방법
US8655078B2 (en) Situation determining apparatus, situation determining method, situation determining program, abnormality determining apparatus, abnormality determining method, abnormality determining program, and congestion estimating apparatus
Liu et al. Detecting and counting people in surveillance applications
US10552687B2 (en) Visual monitoring of queues using auxillary devices
KR101541272B1 (ko) 사람들의 움직임 불규칙성을 이용한 폭력 행위 검출 장치 및 방법
US20110169917A1 (en) System And Process For Detecting, Tracking And Counting Human Objects of Interest
Fujisawa et al. Pedestrian counting in video sequences based on optical flow clustering
JP2012104022A (ja) 監視システム、および監視サーバ
KR20130097868A (ko) 카메라 기반 지능형 주차관제 방법 및 시스템
JP2018032078A (ja) 他の物体の画像領域も考慮して物体を追跡する装置、プログラム及び方法
CN111670456B (zh) 信息处理装置、追踪方法和记录介质
KR20220100887A (ko) 이미지 추적 동안의 액션 검출
Ling et al. Colour-based object tracking in surveillance application
Hernández et al. People counting with re-identification using depth cameras
JP6253950B2 (ja) 画像監視システム
KR102544492B1 (ko) 수영장 안전관리 장치 및 방법
Deepak et al. Design and utilization of bounding box in human detection and activity identification
Utasi et al. Multi-camera people localization and height estimation using multiple birth-and-death dynamics
Foggia et al. A Method for Detecting Long Term Left Baggage based on Heat Map.
KR20180000205A (ko) 지능형 영상 분석 장치 및 방법
Yao et al. Multi-Person Bayesian Tracking with Multiple Cameras.
Raman et al. Towards optimized placement of cameras for gait pattern recognition

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11821536

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2012531775

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 13820084

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 11821536

Country of ref document: EP

Kind code of ref document: A1