WO2017183769A1 - 이상 상황을 감지하는 장치 및 방법 - Google Patents

이상 상황을 감지하는 장치 및 방법 Download PDF

Info

Publication number
WO2017183769A1
WO2017183769A1 PCT/KR2016/007913 KR2016007913W WO2017183769A1 WO 2017183769 A1 WO2017183769 A1 WO 2017183769A1 KR 2016007913 W KR2016007913 W KR 2016007913W WO 2017183769 A1 WO2017183769 A1 WO 2017183769A1
Authority
WO
WIPO (PCT)
Prior art keywords
area
point
sensing device
calculating
image
Prior art date
Application number
PCT/KR2016/007913
Other languages
English (en)
French (fr)
Inventor
주진선
김휘준
최향숙
Original Assignee
주식회사 에스원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에스원 filed Critical 주식회사 에스원
Priority to US16/094,971 priority Critical patent/US10853664B2/en
Priority to CN201680084843.1A priority patent/CN109076190B/zh
Publication of WO2017183769A1 publication Critical patent/WO2017183769A1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H04N13/268—Image signal generators with monoscopic-to-stereoscopic image conversion based on depth image-based rendering [DIBR]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Definitions

  • the present invention relates to a method and apparatus for detecting an abnormal situation using 3D image information.
  • CCTV surveillance system has been applied to various fields as a video surveillance device.
  • a person checks most of the shooting contents directly through AVR nalog video recorder (DVR), digital video recorder (DVR), network video recorder (NVR), and identifies abnormal behavior. This required a large number of operations personnel and was easy to miss the objects or behaviors that the operations personnel had to identify.
  • DVR AVR nalog video recorder
  • DVR digital video recorder
  • NVR network video recorder
  • the infrared sensor method and the single camera method are mainly used for the mover count, the frequency analysis, and the residual detection.
  • the infrared sensor method installs several infrared sensors in the sensing space. It is a method of measuring and counting the distance of a person or object near a sensor. In the infrared sensor system, fast and simple counting is possible. However, in the infrared sensor method, the error coefficient due to disturbance light appears frequently, and a controller for collecting data obtained from various sensors is required separately. In addition, in the infrared sensor method, since image data cannot be acquired, it is not easy to distinguish and manage false reports and misreports, and it is impossible to separate and count a large number of overlapping personnel, and it is difficult to distinguish between people and objects. Inaccurate.
  • the single camera method is a method of counting movers by processing an image input through one camera.
  • the performance varies slightly depending on the image processing technique applied. Since the single camera method detects people and extracts features using only color information, it reacts sensitively to changes in the surrounding environment (e.g. lighting changes, shadows, image obscured by objects, etc.), resulting in high false positive rates. do.
  • An object of the present invention is to provide a method and apparatus for counting movers using a three-dimensional camera that provides depth information, and for detecting a motion and residual based on the number of movers.
  • a sensing method of a sensing device may include detecting at least one object from the image by using depth information of an image acquired by a camera; Identifying whether the at least one object is a human through 3D head model matching comparing the head candidate region of the at least one object with a 3D head model; And when the at least one object is identified as a person, calculating a feature for situation detection using the at least one object.
  • the identifying may include determining a first pixel having a minimum depth value based on the camera among the pixels of the at least one object and the image.
  • the method may include designating, as a first head candidate region, a circle region having a predetermined radius centered on at least one of the second pixels having a maximum height value based on the bottom region.
  • the identifying may include: when the ratio between the total number of pixels of the at least one object and the number of pixels occupied by the first head candidate area is equal to or less than a first threshold, the first head in the area increment of the at least one object. Obtaining a region other than the candidate region; Extracting at least one of a third pixel having a minimum depth value based on the camera and a fourth pixel having a maximum height value based on the bottom area among the pixels of the remaining area; And designating, as a second head candidate region, a circle region having at least one of the three pixels and the fourth pixel and having a predetermined radius.
  • the identifying may include generating the three-dimensional head model having a predetermined depth; And calculating a Bhattacharyya di stance between the first head candidate region and the three-dimensional head model.
  • the calculating of the batataya distance may include: (1) applying a histogram project ion based on depth to the first head candidate region and the three-dimensional head model to generate a first histogram and a second histogram; And calculating the batata distance using the first histogram and the second histogram.
  • the identifying may further include identifying, as a person, an object including the first head candidate region among the at least one object when the batathaya distance is equal to or less than a first threshold value.
  • the step of setting a count line Setting a virtual count line at a position separated by a predetermined distance from the count line; And counting the number of movers when a center point of the at least one object passes through the count line and the virtual count line.
  • the virtual count line is located at a position away from the count line by a predetermined distance in a first distance from the count line and a distance away from the count line by a predetermined distance in a second direction opposite to the first direction. It may include a set second virtual count line.
  • the counting may include: counting the number of movers in the first direction when a center point of the at least one object passes through the count line and the first virtual count line sequentially; And counting the number of movers in the second direction when a center point of the at least one object passes through the count line and the second virtual count line sequentially.
  • the calculating of the feature for detecting the situation may include: calculating a difference between the number of movers in the first direction and the number of movers in the second direction; Measuring a residence time of the residue corresponding to the difference; And triggering an alarm when the residence time is greater than or equal to a first threshold.
  • the calculating of the feature for detecting the situation may include: calculating a first value which is an area of a bottom area of the image; Calculating a value of 12 that is a width of the at least one object; And calculating the degree of complexity using the first value and the second value.
  • the calculating of the first value may include obtaining a first area closest to the camera and a second area farthest from the camera in the floor area; Obtaining a first point that is the leftmost point and a second point that is the rightmost point among the points of the first area; Obtaining a third point that is the leftmost point and a fourth point that is the rightmost point among the points of the second area; And calculating a horizontal length and a vertical length of the floor area by using the first point, the second point, the third point, and the fourth point.
  • the calculating of the feature for detecting the situation may further include detecting cluster formation when the frequency is greater than or equal to a first threshold value.
  • the image may include a first region spaced by a first height from the bottom region of the image and spaced by a first depth from the camera.
  • Detecting the at least one object comprises: calculating a first threshold value for the first area based on the first height and the first depth; And detecting the crab first area as an object when a difference between the background model of the image and the first height is greater than or equal to the first threshold value.
  • a sensing device is provided.
  • the sensing device may include: an object detector configured to detect at least one object by using depth information of an image acquired by a camera; An identification unit for comparing the head candidate region of the at least one object with a 3D head model to identify whether the at least one object is an object of a target type; And a recognition feature calculator configured to calculate a feature for detecting a situation using the at least one object when the at least one object is identified as the target type object.
  • the three-dimensional camera by using the three-dimensional camera, it is possible to improve the detection accuracy and reduce misinformation.
  • 3D head model matching 3D head model matching
  • separation recognition can be successful.
  • an adult carries a child both the child and the adult can be identified and counted.
  • a person may be identified and counted even when a person carries or pulls a load.
  • by configuring the depth information as an image it is possible to detect even in a sensitive place difficult to use the image information.
  • a device according to an embodiment of the present invention may be installed in a place where privacy is guaranteed, such as a sauna or a dressing room.
  • the residual by detecting the residual by using the moving coefficient information, it is possible to prevent the accident.
  • the residual can be detected by using the access time of the moving part counter.
  • 1 is a diagram illustrating a sensing device according to an embodiment of the present invention.
  • 2 is a view showing a sensing method of a sensing device according to an embodiment of the present invention.
  • 3A and 3B are diagrams illustrating depth images according to an exemplary embodiment of the present invention.
  • FIG. 4 is a diagram showing a floor detection result according to an embodiment of the present invention.
  • FIG. 5 is a diagram illustrating a background learning result according to an embodiment of the present invention.
  • FIG. 6 is a diagram illustrating a background update result according to an embodiment of the present invention.
  • FIG. 7 is a diagram illustrating an object detection result according to an embodiment of the present invention.
  • FIG. 8 is a diagram illustrating positions of minimum, maximum pixels of up, down, left, right, center, depth (distance) with respect to an object to which a label is assigned according to an embodiment of the present invention.
  • 9A, 9B, and 9C are diagrams illustrating a head model generation process and a head candidate region designation process in a person identification process according to an embodiment of the present invention.
  • 10A illustrates a matching score during a person identification process according to an embodiment of the present invention. It is a figure which shows a calculation process.
  • 10B is a diagram illustrating three-dimensional head model matching according to an embodiment of the present invention.
  • Fig. 11A is a diagram showing the count line setting when the three-dimensional camera 101a is installed on the ceiling according to the embodiment of the present invention.
  • FIG. Lib is a diagram illustrating a method of extracting features for calculating floor area according to an embodiment of the present invention.
  • 11C is a view showing a residual detection method according to an embodiment of the present invention.
  • FIG. 1122 aa is a diagram illustrating a method of measuring a motion degree when a 3D camera is installed on a ceiling according to an embodiment of the present invention.
  • FIG. 12B is a diagram illustrating a method for measuring a degree of motion when a three-dimensional camera is installed on a wall according to an embodiment of the present invention.
  • 12C is a diagram illustrating a method of counting movers when a 3D camera is installed on a ceiling according to an embodiment of the present invention.
  • 12D is a diagram illustrating a method of counting movers when a 3D camera is installed on a wall according to an embodiment of the present invention.
  • 12E is a diagram illustrating a method of detecting a residual when a 3D camera is installed on a ceiling according to an embodiment of the present invention.
  • FIG. 1122ff is a diagram illustrating a method of detecting a residual when a 3D camera is installed on a wall according to an embodiment of the present invention.
  • the term “comprise” or “have” is intended to indicate that there is a feature, number, step, action, component, part, or combination thereof described in the specification, one or more other. It is to be understood that the present invention does not exclude the possibility of adding or presenting features, features, steps, operations, components, components, or a combination thereof.
  • the term 'and / or' includes any of a plurality of listed items or a combination of a plurality of listed items.
  • 'A or B' may include ' ⁇ ', ' ⁇ ', or 'both A' and 'B'.
  • an object may refer to a person, an animal, or an object. Hereinafter, for convenience of description, it is assumed that the object is a human, but the scope of the present invention is not limited thereto.
  • 1 is a diagram illustrating a sensing device 100 according to an embodiment of the present invention.
  • 2 is a diagram illustrating a sensing method of the sensing device 100 according to an embodiment of the present invention.
  • the sensing device 100 includes a depth image generator 101, a coordinate converter 102, and a floor. Detector 103, background learner 104, object detector 105, object feature extractor 106, object tracker 107 , identifier 108, recognition feature calculator 109, processor 120 ) And a memory 121.
  • the background learner 104 and the object detector 105 correspond to a detector
  • the object feature extractor 106 and the object tracker 107 correspond to a tracker
  • the identification unit 108 and The recognition feature calculator 109 corresponds to a recognizer.
  • the depth image generator 101 generates a depth image using depth information (distance information) acquired by the 3D camera 101a (S101). That is, the depth image includes depth information.
  • FIG. 1 illustrates a case in which the 3D camera 101a is included in the depth image generator 101, the 3D camera 101a may be a separate device that is distinguished from the sensing device 100.
  • the three-dimensional camera 101a is installed in the surveillance area to be monitored and captures an image of the surveillance area.
  • the 3D camera 101a may be installed on the ceiling or the wall of the surveillance area.
  • the three-dimensional camera 101a may be implemented through a TO time of flight camera that provides depth information, a structured light camera, a laser range finder (LRF) sensor, or the like.
  • LRF laser range finder
  • the depth image generator 101 normalizes depth information obtained by the 3D camera 101a to a value between 0 and 255, to obtain a gray scale image. I can express it.
  • 3A illustrates a gray scale image having a depth range (distance range) of 0 cm to 10 m.
  • 3b illustrates a difference between a normal image (color image) and a depth image.
  • (a) shows a general image when there is no illumination, and (b) shows a depth image when there is no illumination.
  • (c) shows a normal image (color image) when there is illumination
  • (d) shows a depth image when there is illumination.
  • the coordinate transformation unit 102 converts the depth image into real world coordinates (that is, three-dimensional coordinates) by using depth information on the Z axis (S102). Specifically, coordinate The transformer 102 may match the 2D image (color image) and the 3D depth image to estimate a 3D depth value of the coordinate of the 2D image. Since the 3D camera 101a provides only distance information (depth information) with respect to the Z axis, the coordinate transformation unit 102 converts all pixels of the depth image to 3D coordinates by using Equation 1 below.
  • Equation 1 represents the real world coordinates of the X axis
  • Y rw represents the real world coordinates of the Y axis
  • Z rw represents the distance (depth) provided by the three-dimensional camera 101a. Is the width of the image and H is the height of the image.
  • const x is FovH represents the horizontal angle of view of the three-dimensional camera 101a.
  • the floor detector 103 defines a floor plane and detects a floor area by using depth information acquired by the 3D camera 101a (S103). Specifically, the floor detector 103 detects the floor plane in the entire image using real world coordinates (three-dimensional coordinates) transmitted from the coordinate converter 102 during a predetermined initial time, and detects the floor plane for all pixels of the image. Calculate the reference distance value.
  • the plane reference distance value d represents how far all the pixels (three-dimensional coordinates) are from the floor plane.
  • the floor plane information detected by the floor area detection unit 103 may be obtained by learning a background model, which will be described later. It can be used in object detection and object feature extraction.
  • the floor detector 103 calculates a floor plane and a plane reference distance value by using Equations 2 to 5 below.
  • Equation 2 In Equation 2, Pl , p 2) and p 3 are three points passing through the plane. Way through the M100 or method Ml () l, it may be a Pl, P2, and p 3 obtained.
  • Method M100 is to have the real-world coordinates of the three points Pl, P2, and p 3 is set by the user.
  • Method M101 is Y rw (when three-dimensional camera 101a is installed on the wall) or
  • the method M101 defines Pl as one point where Y rw has a minimum value in three-dimensional coordinates (real world coordinates).
  • Method M101 defines p 2 as one point where the difference with yi is below the threshold by searching 50 cm around the top, bottom, left and right of where it is 80 cm or more than its Zl .
  • method M101 defines p 3, onto the area or more than 80cm 2 of z p 2, and, by searching for a point 50cm to the left and right around, not more than the difference between the y 2 p 2 of the threshold.
  • 80cm, 50cm, and 5cm are values that are arbitrarily set according to the size of the image and may be changed according to the size of the image.
  • Equation 3 shows a plane Pl, P2, p 3 passes.
  • Equation 3 a, b, and c represent coefficients of the plane spinning equation, and can be obtained by Equation 4 below.
  • Equation 3 ⁇ 4 3 ⁇ 403 ⁇ 4 ⁇ 1 ⁇ 2) + ( ⁇ yi) + ⁇ 33 ⁇ 4) and in Equation 3, d represents the plane reference distance value, and may have a value of 0 for the three points ( Pl , p 2 , p 3 ) of the floor area. have.
  • This planar reference distance value (d) may be obtained as shown in Equation 5 below.
  • realworldX, realworldY, and realworldZ are real world coordinates (that is, three-dimensional coordinates)
  • PtPointX, ptPointY, and ptPointZ represent any one point (eg, Pl , p 2 , or p 3 ) of the floor plane. Therefore, if all the pixels of the floor plane are applied to Equation 5, the plane reference distance value d with respect to the floor plane may be zero.
  • the average reference distance value d obtained by Equation 3 or Equation 5 is equal to or less than a predetermined threshold (e.g., 3 cm), it can be regarded as a floor area (floor plane). A depth image according to the height of the floor area may be generated.
  • a predetermined threshold e.g. 3 cm
  • FIG. 4 is a diagram illustrating a floor detection result according to an exemplary embodiment of the present invention.
  • (a) represents three points ( ⁇ , ⁇ 2 ⁇ P3) passing through the floor plane
  • (b) represents a color image, and specifically, a floor plane (d ⁇ 3cm) detected by floor detection ( FP1)
  • (c) shows a depth image based on the floor detection result.
  • (c) a gray scale image having a height range of 0 cm to 5 m based on the floor plane FP1 is illustrated.
  • the background learner 104 accumulates the height values based on the floor area detected by the floor detector 103 to generate a background model (S104).
  • the background learner 104 accumulates a region in which Z rw is 0 among the regions of the image as a background model for a predetermined initial time t a (for example, 10 seconds), and thereafter, a predetermined time t (
  • an initial background model may be generated by accumulating and averaging a height value (based on a floor area) for an area in which Z rw is not 0 among areas of an image for 30 seconds.
  • the background learning unit 104 calculates the average value by accumulating the planar reference distance: (d) of each pixel calculated by the floor area detection unit 103 for a predetermined time t, and then calculates the average value.
  • the predetermined time t a , t is a predetermined time after the initial driving of the 3D camera 101a and may be set by the user.
  • FIG. 5 is a diagram illustrating a background learning result according to an embodiment of the present invention.
  • (a) represents a color image, and specifically, represents a floor area FP1 detected by the floor detector 103
  • (b) is generated by the depth image generator 101 and has depth information.
  • a depth image including (Z) is shown
  • (c) represents a background model based on a height image (plane reference distance value (d) based on the bottom area FP1).
  • Cbgl represents a background model of the Z rw of the area of the image 0 'region
  • Cb g 2 is the Z rw of the area of the image shows the background model of the non-zero region.
  • the background learner 104 updates the background model in real time to the background model.
  • the background learning unit 104 also updates the non-human object to the background model.
  • FIG. 6 is a diagram illustrating a background update result according to an embodiment of the present invention. Specifically, in FIG. 6, (a) shows the identification result of the non-human object (1024 frames), and (b) shows the result of the background learning unit 104 updating the non-human object to the background model (1066 frames). .
  • the first image represents the input color image
  • the second image represents the depth image
  • the third image represents the background model
  • the fourth image represents the detected object Obi
  • the fifth image represents an object (Obi) to which labeling (eg ID: 0) is applied.
  • the background learning unit 104 updates the object Obi to the background model, as illustrated in FIG. 6B.
  • the first image represents the input color image
  • the second image represents the depth image
  • the third image represents the background model (object Obi is included in the background model)
  • the fourth image represents an object detection image (no detection object)
  • the fifth image represents a labeling image.
  • the object detector 105 distinguishes the background from the foreground by using the background model generated by the background learner 104 (S105). Specifically, the object detector 105 detects as a foreground a region where the difference between the background model and the floor reference height value (plane reference distance value (d)) of the current image is a threshold threshold value for detection, and as a background if it is less than the threshold value for detection. Can be detected.
  • the background refers to an area that does not move (eg, a floor, a wall, etc.)
  • the foreground means an area where an object (eg, a person, an animal, or an object) moves.
  • the detection threshold may have a different value depending on the floor reference height value and the depth value (distance value) obtained by the three-dimensional camera 101a. That is, the floor reference height value and the depth value (distance value) can be used as the weight for the detection threshold. For example, a smaller detection threshold is applied to the corresponding area (object) as the area (object) is closer to the floor area and closer to the distance (depth) from the 3D camera 101a. The larger the distance (depth) from the three-dimensional camera 101a, the larger the detection threshold value can be applied to the area (object).
  • the object detector 105 may detect the corresponding area as an object when the difference between the background model and the floor reference height value of the specific area is greater than or equal to a detection threshold for the corresponding area.
  • the detection threshold may be defined as in Equation 6 below.
  • Equation 6 indicates that the area corresponds to the foreground when D fl00 ⁇ l " ⁇ .
  • ⁇ represents a detection threshold and D iloor Represents the difference between the floor reference height and the background model of the current image, weighty represents the weight based on the floor reference height, and ⁇ represents the depth value (Z rw ).
  • d is assumed to be 2.5 cm, but may be changed to another value.
  • the area detected by the object detector 105 in the background is updated by the background learner 104 in real time to the background model.
  • the object detector 105 removes noise and detects only objects of interest by applying distance-based labeling to the area detected as the foreground.
  • Distance-based labeling means searching for pixel values of a region detected as the foreground, and determining adjacent pixel values as the same object and assigning the same label.
  • the object detector 105 uses the adjacent pixel information (the pixel value of the object) of the detected image result and the three-dimensional real-world coordinate values (X rw , Y rw , Z rw ) of each pixel, so that the distance between the pixels is less than the threshold value. In this case, the corresponding pixel is determined to belong to the same object, and the same label is assigned. If the distance between the pixels is greater than or equal to the threshold, the corresponding pixel is determined to belong to another object and is assigned another label.
  • FIG. 7 is a diagram illustrating an object detection result according to an embodiment of the present invention.
  • (a) represents an input two-dimensional color image
  • (b) represents a three-dimensional depth image generated by the depth image generator 101
  • (c) is an object detector 105.
  • the detected foreground (object) is shown, and (d) indicates the object finally detected by the labeling of the object detector 105.
  • the object detector 105 may separately detect each object as an individual object.
  • the object feature extraction unit 106 calculates a three-dimensional feature (the size of the object, the speed of the object, etc.) of the object labeled by the object detection unit 105 (S106). Specifically, the object feature extraction unit 106 is a two-dimensional pixel coordinates and the three-dimensional real-world coordinates of the image of the object, down, left and right, the maximum and minimum position of the center point, Z rw
  • the three-dimensional feature of a predetermined unit for example, cm
  • FIG. 8 is a diagram illustrating positions of minimum and maximum pixels of the top, bottom, left, right, center point, and depth (distance) of an object to which a label (eg, ID: 0) is assigned according to an embodiment of the present invention. .
  • FIG. 8 shows the object feature point extracted when the 3D camera 101a is installed on the side, and (b) shows the object feature point extracted when the 3D camera 101a is installed on the ceiling.
  • XMin denotes a minimum pixel position of the X-axis coordinates
  • XMax denotes a maximum value pixel position of the X-axis coordinates
  • YMin and YMax represent minimum value pixel positions and maximum value pixel positions of Y-axis coordinates, respectively
  • ZMin and ZMax represent minimum value pixel positions and maximum value pixels of Z-axis coordinates, respectively. Indicates a location.
  • CoM3d represents a pixel position with respect to the center point of the object. That is, the extracted object feature points are shown in Table 1 below.
  • the feature extraction unit 106 of the increasing-point object feature of the real world coordinates X rw , Y rw , and z rw of CoM3d detected object is three-dimensional using the three-dimensional real world coordinates (X rw , Y rw , Z rw ) Extract three-dimensional features such as height, width, thickness, and moving speed of an object.
  • the 3D height represents the height of the object to the highest point with respect to the floor.
  • 3D Height ⁇ (Normal, y X (Z in. PtPoint, y)) + ⁇
  • v NormaI.x, y, z represents the coordinates of the bottom normal (a, b, c in Equation 4)
  • ptPoint . x, y, z represents the coordinates of a point on the floor
  • CoM3d.x, y, z represents the coordinates of the three-dimensional center point
  • ZMin.x, y, z represents the coordinates of the Z-axis minimum pixel
  • YMax. y represents the highest point of the object
  • the object tracking unit 107 is an object extracted by the object feature extraction unit 106 .
  • the feature is tracked in real time (S107). Specifically, the object The tracking unit 107 tracks the movement of the object using the object feature extraction result, thereby assigning the same ID to the corresponding object.
  • the object tracking unit 107 is a feature point of the object detected in the previous frame (for example, YMax.xrw, YMax.yrw, YMax.zrw, YMin.xrw, YMin.yrw, YMin.zrw, CoM2d.x, CoM2d. y, CoM3d.x, CoM3d.y, CoM3d.z, speed, etc. and the feature points of the detected object in the current frame (e.g.
  • YMax.xrw, YMax .yrw, YMax.zrw, YMin.xrw, YMin.yrw, YMin Euclidean distance can be calculated using .zrw, CoM2d.x, CoM2d.y, CoM3d.x, CoM3d.y, CoM3d.z, speed, etc.).
  • the object tracking unit 107 determines that the object of the previous frame and the object of the current frame are the same object, and the ID assigned to the object in the previous frame is determined by the current frame. Can be assigned to the object.
  • the identification unit 108 identifies whether the object tracked by the object tracking unit 107 is an object of a target type (eg, a human object) through 3D head model matching (S108). Specifically, the identification unit 108 may determine whether the head of the person exists in the tracked object, and identify whether the object is a person. If the object is identified as a person, the recognition characteristics of that object are calculated, and if the object is not identified as a person, the object is updated with the background model.
  • the person identification process of the identification unit 108 includes a head model generation process, a head candidate region designation process, and a matching score calculation process.
  • FIGS. 9A, 9B, and 9C are diagrams illustrating a head model generation process and a head candidate region designation process in a person identification process according to an embodiment of the present invention
  • FIG. 10A is a person identification process according to an embodiment of the present invention. It is a figure which shows the matching score calculation process of a process.
  • the identification unit 108 generates a circle having a depth (distance) of 0 cm and a depth (distance) of 5 cm outside the circle as a three-dimensional head model.
  • a three-dimensional head model has a depth range (distance range) of 0 cm-5 cm
  • the three-dimensional head model is illustrated.
  • (a) shows a top view of the three-dimensional head model, and hue, saturation, brightness, etc. vary according to the depth range (eg, blue-> red)
  • ( b ) is the three-dimensional head. It shows the side view of the model, and its hue, saturation, and brightness vary depending on the depth range.
  • the identification unit 108 may designate a head candidate region after generating the 3D head model, as illustrated in FIG. 9B.
  • FIG. 9B shows a case where the three-dimensional camera 101a is installed on the ceiling, and (b) shows a case where the three-dimensional camera 101a is installed on the side (wall surface).
  • the identification unit 108 may have a maximum height value based on a pixel having a minimum depth value based on the three-dimensional camera 101a among the pixels of the object (when the three-dimensional camera 101a is installed on a ceiling) or a floor area.
  • a circular area having a predetermined radius around the pixel (when the three-dimensional camera 101a is provided on the side) can be designated as the head candidate area. That is, the identification unit 108 is the case where the ZMin (the three-dimensional camera 101a) of the tracked object is installed on the ceiling, for example, (a) of FIG. 9B) or the YMax (the three-dimensional camera 101a is installed on the side)
  • a circle region having a radius of 5 cm may be designated as a head candidate region centering on (b) of FIG. 9B).
  • FIG. 9C illustrates a case where the 3D camera 101a is installed on the ceiling. Specifically, in FIG. 9C, (a) represents the first head candidate region, and (b) represents the first head candidate region and the second head. Indicates a candidate area. The second head candidate area corresponds to an object assigned a label (ID: 1).
  • the identification unit 108 may designate the first head candidate region using ZMinC lst ZMin of the object.
  • the first head candidate region corresponds to an object assigned a label (ID: 0).
  • the identification unit 108 compares the total number of pixels of the object (eg, including the number of pixels of the left object, the number of pixels of the right object, and the number of pixels of the cart) in FIG. 9C (b).
  • the identification unit 108 determines the number of pixels of the remaining areas excluding the head candidate area (eg, in FIG. 9C (b), the second head of the area of the right object and the remaining area except the first head candidate area of the left object area). Multiple head candidate areas may be designated by repeating the above process until the remaining areas excluding the candidate area and the cart) are less than or equal to the threshold.
  • the identification unit 108 may calculate a matching score, as illustrated in FIG. 10A.
  • the identification unit 108 may identify a human object and a non-human object by calculating a matching score between the 3D head model and the head candidate region. As mentioned above, the non-human object is updated with the background model.
  • the identification unit 108 In order to calculate a matching score, the identification unit 108 generates a histogram by applying a histogram project ion based on a depth value to the three-dimensional head model and the head candidate region, and uses the histogram to use Equation 7 below. You can calculate the Bhattacharyya di stance.
  • Equation 7 (i) and H 2 (i) represent the histogram (or template histogram) and the histogram (or head candidate histogram) of the head candidate region, respectively.
  • the identification unit 108 selects an object having the head candidate region. It can be identified as a person and the recognition characteristics of the object can be calculated.
  • FIG. 10B is a diagram illustrating a 3D head model matching result according to an exemplary embodiment of the present invention.
  • the recognition feature calculation unit 109 calculates the recognition features (eg, a moving coefficient, a cluster, a feature for detecting a residual person, etc.) for the human object identified by the identification unit 108 (S109).
  • the recognition feature calculator 109 may calculate a mover coefficient.
  • the mover count means measuring the number of people moving in one or both directions. Once the number of movers is known, the time-phase frequentness of a particular space can be analyzed, which can be used for marketing purposes. Also, if the number of movers is known, the residuals that stay in a certain space for a long time can be detected, which can be used for accident detection and prevention purposes.
  • the recognition feature calculator 109 may set a count line at a position where the mover in the sensing space (detection area) is to be counted, and count the passing object when the head center point of the human object passes through the count line.
  • Fig. 11A is a diagram showing the count line setting when the three-dimensional camera 101a is installed on the ceiling according to the embodiment of the present invention.
  • the recognition feature calculator 109 may set one or more count lines. When the count line is set, as illustrated in FIG. 11A, the recognition feature calculator 109 may automatically set the virtual count line at a position of ⁇ 10 cm before and after the count line.
  • the recognition feature calculation unit 109 counts the In object (eg, the occupant) or the Out object (eg, the occupant) according to the passing direction when the head center point of the human object passes through both the count line and the virtual count line. can do. For example, the recognition feature calculating unit 109 counts the number of occupants when the head center point of the person object sequentially passes through the count line and the preceding virtual count line. When the head center point of the object passes through the count line and the virtual count line afterwards, the number of detainees may be counted. The recognition feature calculator 109 may issue an alarm for the number of movers.
  • the recognition feature calculator 109 may issue an alarm for the number of movers.
  • the recognition feature calculator 109 may calculate the degree of complexity. In detail, the recognition feature calculator 109 may calculate a motion degree based on the floor detection result and the width, thickness, and height of the human object based on the floor detection result.
  • FIG. Lib is a diagram illustrating a method of extracting features for calculating floor area according to an embodiment of the present invention. Color image is illustrated in FIG. Lib.
  • the recognition feature calculator 109 finds Floor_Zmax, which is the furthest from Floor_Zmin, which is the closest to the camera 101a, within the floor detected area (e.g. f loor with d ⁇ 3 cm). Can be.
  • the recognition feature calculating unit 109 may find the leftmost point (Floor_Zmin .Xmin, Floor_Zmax .Xmin) and the rightmost point (Floor_Zmin .Xmax, Floor_Zmax .Xmax) based on Floor_Zmin and Floor_Zmax, respectively. .
  • the recognition feature calculation unit 109 can obtain Floor_Zmin.Xrain, which is the leftmost point among the points corresponding to Floor_Zmin, and Floor_Zmin .Xmax, which is the rightmost point, and Floor_Zmax, which is the leftmost point among the points corresponding to Floor_Zmax. You can find .Xmin and Floor_Zmax .Xmax, the rightmost point.
  • the recognition feature calculating unit 109 uses the leftmost point (Floor_Zmin.Xmin Floor_Zmax .Xmin) and the rightmost point (Floor_Zmin.Xmax, Floor_Zmax .Xmax) to determine the horizontal length of the detection area (or floor area). And the vertical length can be calculated.
  • the recognition feature calculator 109 may calculate the width of the floor area by using the horizontal length and the vertical length of the sensing area (or the bottom area).
  • FIG. Lib illustrates a case in which the horizontal length of the floor area is 2.8 m and the vertical length is 5.8 m.
  • the recognition feature calculation unit 109 calculates a complexity defined by Equation 8 below using the width of the floor area and the width, thickness, and height of the human object. Can be calculated
  • Equation 8 Floor Area represents the floor area of the sensing area
  • Head Width represents the head width of all human objects present in the sensing area
  • Head Depth represents the head thickness or head height of all human objects present in the sensing area.
  • the recognition feature calculator 109 may determine the clustering situation according to the degree of frequentness. For example, the recognition feature calculator 109 may detect the cluster formation when the frequency is greater than or equal to the threshold. The recognition feature calculation unit 109 may issue an alarm when detecting a cluster situation.
  • the recognition feature calculator 109 may measure a residence time.
  • 11C is a view showing a residual detection method according to an embodiment of the present invention.
  • the recognition feature calculating unit 109 may check the number of occupants and the number of occupants by using the mover count information. When the number of occupants and the number of occupants do not become the same, the recognition feature calculation unit 109 may determine that there are residuals. The number of residues is the number of occupants-the number of occupants. In FIG. 11C, there are 10 occupants, 9 occupants, and one remaining person. The recognition feature calculator 109 may accumulate the remaining time of the residuals. The recognition feature calculator 109 may issue an alarm when the residence time is above a certain threshold.
  • Processor 120 may be configured to implement the procedures, functions, and methods described herein with respect to sensing device 100. In addition, the processor 120 may control each component of the sensing device 100.
  • the memory 121 is connected to the processor 120 and stores various information related to the operation of the processor 120.
  • the sensing device 100 counts the mover using the three-dimensional camera 101a and detects an abnormal situation (eg, residuals, clusters, etc.) based on the mover counting information. 12A to 12F, a sensing method according to an embodiment of the present invention is summarized.
  • the sensing device 100 obtains depth information from a three-dimensional camera 101a installed on a ceiling or a wall, detects an object using the depth information, and matches only a person among the detected objects with a three-dimensional head model matching ( head model matching). The sensing device 100 then measures the degree of vibration in the sensing space.
  • the sensing device 100 may measure the region-specific rubbing (Sect ion A, Sect ion B, Sect ion C, and Sect ion D) and the overall rubbing degree. You can detect the cluster status by using . .
  • FIG. 12A is a view showing a method for measuring the vibration level when the three-dimensional camera 101a is installed on the ceiling according to an embodiment of the present invention
  • FIG. 12B is a side (wall surface) according to an embodiment of the present invention. It is a figure which shows the method of measuring a density when the three-dimensional camera 101a is installed in it.
  • 12A illustrates the case where each zone is 2.5mx3.5m.
  • 12B illustrates a case where the three-dimensional camera 101a is installed at an angle of 15 degrees at a height of 2.1 meters from the floor.
  • the sensing device 100 may count the mover passing through the count line, as illustrated in FIGS. 12C and 12D.
  • FIG. 12C is a diagram illustrating a method of counting a mover when a three-dimensional camera 101a is installed on a ceiling according to an embodiment of the present invention
  • FIG. 12D is a three-side view on a side (wall) according to an embodiment of the present invention. It is a figure which shows the method of counting a mover when the dimension camera 101a is installed.
  • the sensing device 100 may detect a residual person in a specific space based on the number of moving persons entering and leaving, and may detect an abnormal situation through this.
  • FIG. 12E is a three-dimensional camera 101a on the ceiling, according to an embodiment of the invention.
  • FIG. 12F is a diagram illustrating a method of detecting a residual when installed
  • FIG. 12F is a diagram illustrating a method of detecting a residual when a three-dimensional camera 101a is installed on a side (wall) according to an embodiment of the present invention.
  • 12E and 12F illustrate the case where there are six occupants, five occupants, and one residue.
  • the embodiment of the present invention is not implemented only by the apparatus and / or method described so far, but may be implemented through a program or a recording medium on which the program is recorded, which realizes the function of the configuration of the embodiment of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

감지 장치의 감지 방법이 제공된다. 상기 감지 장치는, 카메라에 의해 획득되는 영상의 깊이 정보를 이용해, 상기 영상으로부터 적어도 하나의 객체를 검출한다. 상기 감지 장치는, 상기 적어도 하나의 객체의 머리 후보 영역과 3차원 머리 모델을 비교하는 3차원 머리 모델 매칭(head model matching)을 통해, 상기 적어도 하나의 객체가 사람인지를 식별한다. 그리고 상기 감지 장치는, 상기 적어도 하나의 객체가 사람으로 식별된 경우에, 상황 감지를 위한 특징을 상기 적어도 하나의 객체를 이용해 계산한다.

Description

【명세서】
【발명의 명칭】
이상 상황을 감지하는 장치 및 방법
【기술분야】
본 발명은 3차원 영상 정보를 이용해 이상 상황을 감지하는 방법 및 장치에 관한 것이다.
【배경기술】
영상 감시 장치로써 CCTV closed ci rcui t televi sion) 시스템이 다양한 분야에 적용되고 있다. 기존의 감시 장치로써의 CCTV에서는 사람이 촬영 내용의 대부분을 AVR nalog video recorder ) , DVR(digi tal video recorder ) , NVR(network video recorder ) 등을 통해 직접 확인하고， 이상 행동을 식별한다. 이로 인해， 많은 운영 인원이 필요하고， 운영 인원이 식별해야 할 객체나 행위를 놓치기 쉬웠다.
한 사람이 두 대 이상의 CCTV를 22분 이상 감시할 경우에， 중요 이벤트의 95¾> 이상을 감지하지 못한다는 연구 결과가 있다.
따라서 사람이 24시간 영상을 감시할 필요 없이 특정 물체나 사람의 행위를 자동으로 감지한 후 이를 사용자에게 알려주고 이상 행동에 맞는 빠른 대처를 수행할 수 있는 지능형 CCTV의 개발이 활발히 진행되고 있다. 최근에는 특정 공간 (예， 매장 등)의 이동자 계수， 이동 경로 분석， 흔잡도 분석 등을 마케팅 자료로써 활용하려는 시도가 늘고 있다.
어린이집 잔류 아동 사망 사례 (2012.02， 불이 꺼진 체육관에 홀로 방치된 여아 심장마비로 사망)， 위험 작업장 단독 잔류 작업자 사망 사례 (2015.07， 위험 작업장에서 규정을 위반하고 홀로 작업을 하던 작업자 사고 사망)， 고층 빌딩 옥상 배회자 사망 사례 (2015.01， 옥상에서 장시간 배회하던 사람 추락 사망) 등과 같은 사례에서와 같이， 잔류자 감지 기술이 필요하다.
한편， 이동자 계수， 흔잡도 분석， 및 잔류자 감지를 위해서， 적외선 센서 방식과 단일 카메라 방식이 주로 이용된다.
적외선 센서 방식은 감지 공간에 여러 개의 적외선 센서를 설치하고， 센서에 근접하는 사람 또는 물체의 거리를 측정하여 계수하는 방법이다. 적외선 센서 방식에서는， 빠르고 단순한 계수가 가능하다. 다만， 적외선 센서 방식에서는, 외란광에 의한 오계수가 빈번하게 나타나며 여러 센서에서 얻어진 데이터를 취합하기 위한 컨트를러가 별도로 필요하다. 또한， 적외선 센서 방식에서는， 영상 데이터가 취득될 수 없기 때문에， 실보와 오보 구분 및 관리가 용이하지 않으며， 다수의 중첩된 인원을 분리하여 계수하는 것이 불가능하고, 사람과 물체의 구별이 어려워 계수의 정확성이 떨어진다.
단일 카메라 방식은 하나의 카메라를 통해 입력되는 영상을 처리하여 이동자를 계수하는 방법이다. 단일 카메라 방식에서는， 적용되는 영상처리 기법에 따라 그 성능은 조금씩 차이가 있다. 단일 카메라 방식은 색상 정보만을 사용하여 사람을 검출하고 특징을 추출하기 때문에， 주변 환경 변화 (예， 조명의 변화, 그림자， 사물에 의해 영상이 가려짐 등)에 민감하게 반웅하여 높은 오보율을 야기한다.
【발명의 상세한 설명】
【기술적 과제】
본 발명이 해결하고자 하는 과제는， 깊이 정보를 제공하는 3차원 카메라를 사용하여 이동자를 계수하고， 이동자 수를 기반으로 흔잡도 및 잔류자를 감지하는 방법 및 장치를 제공하는 것이다.
【기술적 해결방법】
본 발명의 실시예에 따르면, 감지 장치의 감지 방법이 제공된다. 상기 감지 방법은， 카메라에 의해 획득되는 영상의 깊이 정보를 이용해， 상기 영상으로부터 적어도 하나의 객체를 검출하는 단계; 상기 적어도 하나의 객체의 머리 후보 영역과 3차원 머리 모델을 비교하는 3차원 머리 모델 매칭 (head model matching)을 통해， 상기 적어도 하나의 객체가 사람인지를 식별하는 단계; 및 상기 적어도 하나의 객체가 사람으로 식별된 경우에， 상황 감지를 위한 특징을 상기 적어도 하나의 객체를 이용해 계산하는 단계를 포함한다.
상기 식별하는 단계는， 상기 적어도 하나의 객체의 픽샐들 중에서 상기 카메라를 기준으로 최소 깊이 값을 가지는 제 1 픽셀과 상기 영상의 바닥 영역을 기준으로 최대 높이 값을 가지는 제 2 픽셀 중 적어도 하나를 중심으로 하며 소정의 반지름을 가지는 원 영역을， 제 1 머리 후보 영역으로 지정하는 단계를 포함할 수 있다.
상기 식별하는 단계는， 상기 적어도 하나의 객체의 전체 픽셀 수와 상기 제 1 머리 후보 영역이 차지하는 픽샐 수 간의 비율이 계 1 임계값 이하인 경우에， 상기 적어도 하나의 객체의 영역 증에서 상기 제 1 머리 후보 영역을 제외한 나머지 영역을 구하는 단계; 상기 나머지 영역의 픽셀들 중에서 상기 카메라를 기준으로 최소 깊이 값을 가지는 제 3 픽셀과 상기 바닥 영역을 기준으로 최대 높이 값을 가지는 제 4 픽셀 중 적어도 하나를 추출하는 단계; 및 상기 게 3 픽셀과 상기 제 4 픽셀 중 적어도 하나를 중심으로 하며 소정의 반지름을 가지는 원 영역을， 제 2 머리 후보 영역으로 지정하는 단계를 더 포함할 수 있다.
상기 식별하는 단계는， 소정의 깊이를 가지는 상기 3차원 머리 모델을 생성하는 단계; 및 상기 제 1 머리 후보 영역과 상기 3차원 머리 모델 간의 바타차야 거리 (Bhattacharyya di stance)를 계산하는 단계를 더 포함할 수 있다.
상기 바타차야 거리를 계산하는 단계는ᅳ 상기 계 1 머리 후보 영역과 상기 3차원 머리 모델에 깊이 기반의 히스토그램 투영 (hi stogram project ion)을 적용하여， 게 1히스토그램과 제 2히스토그램을 생성하는 단계; 및 상기 제 1 히스토그램과 상기 제 2 히스토그램을 이용해， 상기 바타차야 거리를 계산하는 단계를 포함할 수 있다.
상기 식별하는 단계는， 상기 바타차야 거리가 제 1 임계값 이하인 경우에， 상기 적어도 하나의 객체 중 상기 제 1 머리 후보 영역을 포함하는 객체를 사람으로 식별하는 단계를 더 포함할 수 있다.
상기 상황 감지를 위한 특징을 계산하는 단계는， 카운트 라인을 설정하는 단계; 상기 카운트 라인으로부터 소정의 거리만큼 떨어진 위치에 가상 카운트 라인을 설정하는 단계; 및 상기 적어도 하나의 객체의 중심점이 상기 카운트 라인과 상기 가상 카운트 라인을 통과하는 경우에, 이동자 수를 카운팅하는 단계를 포함할 수 있다. 상기 가상 카운트 라인은, 상기 카운트 라인으로부터 제 1 방향으로 소정의 거리만큼 떨어진 위치에 설정된 계 1가상 카운트 라인과 상기 카운트 라인으로부터 상기 제 1 방향의 반대인 제 2 방향으로 소정의 거리만큼 떨어진 위치에 설정된 제 2 가상 카운트 라인을 포함할 수 있다.
상기 카운팅하는 단계는， 상기 적어도 하나의 객체의 중심점이 상기 카운트 라인과 상기 제 1 가상 카운트 라인을 순차적으로 통과하는 경우에， 상기 게 1 방향의 이동자 수를 카운팅하는 단계; 및 상기 적어도 하나의 객체의 중심점이 상기 카운트 라인과 상기 게 2 가상 카운트 라인을 순차적으로 통과하는 경우에， 상기 제 2 방향의 이동자 수를 카운팅하는 단계를 포함할 수 있다.
상기 상황 감지를 위한 특징을 계산하는 단계는， 상기 계 1 방향의 이동자 수와 상기 제 2 방향의 이동자 수 간의 차이를 계산하는 단계; 상기 차이에 해당하는 잔류자의 잔류 시간을 측정하는 단계 ; 및 상기 잔류 시간이 제 1 임계값 이상인 경우에， 알람을 발보하는 단계를 포함할 수 있다.
상기 상황 감지를 위한 특징을 계산하는 단계는， 상기 영상의 바닥 영역의 넓이인 제 1 값올 계산하는 단계; 상기 적어도 하나의 객체의 너비인 거 12 값을 계산하는 단계 ; 및 상기 제 1 값과 상기 게 2 값을 이용해， 흔잡도를 계산하는 단계를 포함할 수 있다.
상기 제 1 값을 계산하는 단계는， 상기 바닥 영역 내에서 상기 카메라와 가장 가까운 제 1 영역과 상기 카메라와 가장 먼 제 2 영역을 구하는 단계; 상기 제 1 영역의 지점들 중에서 가장 좌측 지점인 제 1 지점과 가장 우측 지점인 제 2 지점을 구하는 단계; 상기 제 2 영역의 지점들 중에서 가장 좌측 지점인 제 3 지점과 가장 우측 지점인 제 4지점을 구하는 단계; 및 상기 제 1 지점， 상기 게 2 지점， 상기 제 3 지점, 및 상기 계 4 지점을 이용해， 상기 바닥 영역의 가로 길이와 세로 길이를 계산하는 단계를 포함할 수 있다. 상기 상황 감지를 위한 특징을 계산하는 단계는， 상기 흔잡도가 제 1 임계값 이상인 경우에， 군집 형성을 감지하는 단계를 더 포함할 수 있다. 상기 영상은 상기 영상의 바닥 영역으로부터 제 1 높이만큼 떨어지며 상기 카메라로부터 제 1 깊이만큼 떨어진 제 1 영역을 포함할 수 있다. 상기 적어도 하나의 객체를 검출하는 단계는， 상기 제 1 높이와 상기 제 1 깊이에 기초해， 상기 제 1 영역을 위한 제 1 임계값을 계산하는 단계; 및 상기 영상의 배경 모델과 상기 계 1 높이 간의 차이가 상기 제 1 임계값 이상인 경우에， 상기 게 1 영역을 객체로써 검출하는 단계를 포함할 수 있다. 또한 본 발명의 다른 실시예에 따르면， 감지 장치가 제공된다. 상기 감지 장치는， 카메라에 의해 획득되는 영상의 깊이 정보를 이용해， 적어도 하나의 객체를 검출하는 객체 검출부; 상기 적어도 하나의 객체의 머리 후보 영역과 3차원 머리 모델을 비교하여， 상기 적어도 하나의 객체가 타겟 타입의 객체인지를 식별하는 식별부; 및 상기 적어도 하나의 객체가 상기 타겟 타입 객체로 식별된 경우에, 상황 감지를 위한 특징을 상기 적어도 하나의 객체를 이용해 계산하는 인식 특징 계산부를 포함한다.
【발명의 효과】
본 발명의 실시예에 따르면， 3차원 카메라를 사용함으로써， 감지 정확성을 향상시킬 수 있고 오보를 절감할 수 있다.
또한 본 발명의 실시예에 따르면， 3차원 카메라의 설치 위치에 관계 없이 감지 공간의 바닥 검출을 수행함으로써， 3차원 특징을 정확하게 추출할 수 있다.
또한 본 발명의 실시예에 따르면， 거리 정보 기반의 레이블링 ( label ing)을 사용함으로써， 겹쳐진 객체를 개별 객체로 정확하게 분리할 수 있다.
또한 본 발명의 실시예에 따르면 , 3차원 머리 모델 매칭 (3D head model matching)을 사용함으로써， 사람과 사물을 정확하게 식별할 수 있다. 또한 본 발명의 실시예에 따르면, 이동자 계수에서 분리 인식이 어려운 경우에도 분리 인식을 성공할 수 있다. 예를 들어， 본 발명의 실시예에 따르면， 어른이 아이를 안고 가는 경우에도， 아이와 어른 모두를 식별하고 계수할 수 있다. 다른 예를 들어， 본 발명의 실시예에 따르면， 사람이 짐을 들거나 끌고 가는 경우에도， 사람을 식별하고 계수할 수 있다. 또한 본 발명의 실시예에 따르면， 깊이 정보를 영상으로 구성함으로써， 영상 정보 활용이 어려운 민감한 장소에서도 감지가 가능하다. 예를 들어， 사우나， 탈의실 등 프라이버시 보장이 필요한 장소에도， 본 발명의 실시예에 따른 장치가 설치될 수 있다.
또한 본 발명의 실시예에 따르면， 색상 정보를 사용하지 않기 때문에， 조명 변화 및 환경 변화에도 강건하게 인식이 가능하다.
또한 본 발명의 실시예에 따르면， 이동자 계수 정보를 활용하여 잔류자를 감지함으로써， 사고 예방이 가능하다. 구체적으로 본 발명의 실시예에 따르면， 잔류자 감지가 필요한 공간에 추가적인 센서나 카메라를 설치하지 않더라도， 이동자 계수의 출입 시간을 활용하여 잔류자를 감지할 수 있다.
【도면의 간단한 설명】
도 1은 본 발명의 실시예에 따른， 감지 장치를 나타내는 도면이다. 도 2는 본 발명의 실시예에 따른， 감지 장치의 감지 방법을 나타내는 도면이다ᅳ
도 3a 및 도 3b는 본 발명의 실시예에 따른， 깊이 영상을 나타내는 도면이다.
도 4는 본 발명의 실시예에 따른， 바닥 검출 결과를 나타내는 도면이다ᅳ
도 5는 본 발명의 실시예에 따른， 배경 학습 결과를 나타내는 도면이다.
도 6은 본 발명의 실시예에 따른， 배경 업데이트 결과를 나타내는 도면이다.
도 7은 본 발명의 실시예에 따른， 객체 검출 결과를 나타내는 도면이다ᅳ
도 8은 본 발명의 실시예에 따른， 레이블이 할당된 객체에 대한 상， 하， 좌， 우， 중심점， 깊이 (거리)의 최소 및 최대 픽셀의 위치를 나타내는 도면이다.
도 9a , 도 9b， 및 도 9c는 본 발명의 실시예에 따른， 사람 식별 과정 중 머리 모델 생성 과정과 머리 후보 영역 지정 과정을 나타내는 도면이다. 도 10a는 본 발명의 실시예에 따른， 사람 식별 과정 중 매칭 스코어 계산 과정을 나타내는 도면이다.
도 10b는 본 발명의 실시예에 따 3차원 머리 모델 매칭 나타내는 도면이다.
도 11a는 본 발명의 실시예에 따른， 3차원 카메라 ( 101a)가 천장에 설치된 경우에 카운트 라인 설정을 나타내는 도면이다.
도 lib는 본 발명의 실시예에 따른， 바닥 넓이를 계산하기 위한 특징을 추출하는 방법을 나타내는 도면이다.
도 11c는 본 발명의 실시예에 따른， 잔류자 감지 방법을 나타내는 도면이다ᅳ
도도 1122 aa는는 본 발명의 실시예에 따른， 천장에 3차원 카메라가 설치된 경우에 흔잡도를 측정하는 방법을 나타내는 도면이다.
도 12b는 본 발명의 실시예에 따른， 벽면에 3차원 카메라가 설치된 경우에 흔잡도를 측정하는 방법을 나타내는 도면이다.
도 12c는 본 발명의 실시예에 따른， 천장에 3차원 카메라가 설치된 경우에 이동자를 계수하는 방법을 나타내는 도면이다.
도 12d는 본 발명의 실시예에 따른， 벽면에 3차원 카메라가 설치된 경우에 이동자를 계수하는 방법을 나타내는 도면이다.
도 12e는 본 발명의 실시예에 따른, 천장에 3차원 카메라가 설치된 경우에 잔류자를 감지하는 방법을 나타내는 도면이다.
도도 1122ff는는 본 발명의 실시예에 따른， 벽면에 3차원 카메라가 설치된 경우에 잔류자를 감지하는 방법을 나타내는 도면이다.
【발명의 실시를 위한 형태】
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며， 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. 본 명세서에서， 동일한 구성요소에 대해서 중복된 설명은 생략한다. 또한 본 명세서에서， 어떤 구성요소가 다른 구성요소에 '연결되어' 있다거나 '접속되어1 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만， 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에 본 명세서에서， 어떤 구성요소가 다른 구성요소에 '직접 연결되어' 있다거나 '직접 접속되어' 있다고 언급된 때에는， 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
또한， 본 명세서에서 사용되는 용어는 단지 특정한 실시예를 설명하기 위해 사용되는 것으로써， 본 발명을 한정하려는 의도로 사용되는 것이 아니다.
또한 본 명세서에서， 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한， 복수의 표현을 포함할 수 있다.
또한 본 명세서에서， '포함하다' 또는 '가지다' 등의 용어는 명세서에 기재된 특징, 숫자， 단계， 동작， 구성요소， 부품， 또는 이들을 조합한 것이 존재함을 지정하려는 것일 뿐 하나 또는 그 이상의 다른 특징， 슷자， 단계， 동작， 구성요소, 부품 또는 이들을 조합한 것의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 할 것이다.
또한 본 명세서에서， '및 /또는' 이라는 용어는 복수의 기재된 항목들의 조합 또는 복수의 기재된 항목들 중의 어느 항목을 포함한다. 본 명세서에서， ' A또는 B '는， ' Α ' , ' Β ' , 또는 ' A와 B모두'를 포함할 수 있다. 또한 본 명세서에서 객체는 사람，동물，또는 물체를 지칭할 수 있다. 이하에서는 설명의 편의를 위해 객체가 사람인 경우를 가정하여 설명하지만， 본 발명의 권리 범위는 이에 한정되지는 않는다. 도 1은 본 발명의 실시예에 따른， 감지 장치 ( 100)를 나타내는 도면이다. 그리고 도 2는 본 발명의 실시예에 따른， 감지 장치 ( 100)의 감지 방법을 나타내는 도면이다.
감지 장치 ( 100)는 깊이 영상 생성부 ( 101)， 좌표 변환부 ( 102)， 바닥 검출부 (103)， 배경 학습부 (104)， 객체 검출부 (105)， 객체 특징 추출부 (106)， 객체 추적부 (107)， 식별부 (108)， 인식 특징 계산부 (109)， 프로세서 (120)， 및 메모리 (121)를 포함한다. 배경 학습부 (104) 및 객체 검출부 (105)는 검출기 (detector)에 해당하고， 객체 특징 추출부 (106) 및 객체 추적부 (107)는 추적기 (tracker)에 해당하고, 식별부 (108) 및 인식 특징 계산부 (109)는 인식기 (recognizer)에 해당한다.
깊이 영상 생성부 (101)는 3차원 카메라 (101a)에 의해 획득된 깊이 정보 (거리 정보)를 이용하여 깊이 영상을 생성한다 (S101). 즉, 깊이 영상은 깊이 정보를 포함한다. 도 1에는 3차원 카메라 (101a)가 깊이 영상 생성부 (101)에 포함된 경우가 예시되어 있지만, 3차원 카메라 (101a)는 감지 장치 (100)와 구별되는 별도의 장치일 수도 있다. 3차원 카메라 (101a)는 감시하고자 하는 감시 영역에 설치되며, 감시 영역의 영상을 촬영한다. 예를 들어， 3차원 카메라 (101a)는 감시 영역의 천장이나 벽면에 설치될 수 있다. 3차원 카메라 (101a)는 깊이 정보를 제공하는 TO time of flight) 카메라， 구조광 방식의 카메라， LRF( laser range finder) 센서 등을 통해 구현될 수 있다.
구체적으로, 도 3a에 예시된 바와 같이， 깊이 영상 생성부 (101)는 3차원 카메라 (101a)에 의해 획득되는 깊이 정보를 0~255 사이의 값으로 정규화하여， 그레이 스케일 (gray scale) 영상으로 표현할 수 있다. 도 3a에는 0cm~10m의 깊이 범위 (거리 범위)를 가지는 그레이 스케일 영상이 예시되어 있다.
도 3b에는 일반 영상 (색상 영상)과 깊이 영상의 차이점이 예시되어 있다. 구체적으로 도 3b에서， (a)는 조명이 없는 경우의 일반 영상을 나타내고, (b)는 조명이 없는 경우의 깊이 영상을 나타낸다. 그리고 도 3b에서， (c)는 조명이 있는 경우의 일반 영상 (색상 영상)을 나타내고， (d)는 조명이 있는 경우의 깊이 영상을 나타낸다. 좌표 변환부 (102)는 Z축에 대한 깊이 정보를 이용하여， 깊이 영상을 실세계 좌표 (즉， 3차원 좌표)로 변환한다 (S102). 구체적으로, 좌표 변환부 (102)는 2차원 영상 (색상 영상)과 3차원 깊이 영상을 정합하여， 2차원 영상의 좌표가 가지는 3차원 깊이 값을 추정할 수 있다. 3차원 카메라 (101a)는 Z축에 대한 거리 정보 (깊이 정보)만을 제공하므로， 좌표 변환부 (102)는 아래의 수학식 1을 이용하여， 깊이 영상의 모든 픽셀을 3차원 좌표로 변환한다.
【수학식 1】 r霄 - X Zrw X nstx
Figure imgf000011_0001
수학식 1에서， )(„는 X축의 실세계 좌표를, Yrw는 Y축의 실세계 좌표를， Zrw는 3차원 카메라 (101a)에 의해 제공되는 거리 (깊이 )를 나타낸다. 수학식 1에서， W는 영상의 너비， H는 영상의 높이를 나타낸다. 1에서， X，
Y는 영상의 2차원 픽셀 좌표를 나타내고, constx는
Figure imgf000011_0002
이며， FovH는 3차원 카메라 (101a)의 수평 화각을 나타낸다. 그리고 수학식 1에서，
X 2
consty r f 이며， FovV는 3차원 카메라 (101a)의 수직 화각을 나타낸다. 바닥 검출부 (103)는 3차원 카메라 ( 101a)에 의해 획득되는 깊이 정보를 이용해， 바닥 평면을 정의하고 바닥 영역을 검출한다 (S103) . 구체적으로， 바닥 검출부 (103)는 소정의 초기 시간 동안에 좌표 변환부 (102)로부터 전송되는 실세계 좌표 (3차원 좌표)를 이용하여， 전체 영상에서 바닥 평면을 검출하고， 영상의 모든 픽셀에 대해서 평면 기준 거리 값을 계산한다. 여기서， 평면 기준 거리 값 (d)은 모든 픽셀 (3차원 좌표)이 바닥 평면으로부터 얼마나 떨어져 있는 지를 나타낸다. 바닥 영역 검출부 (103)에 의해 검출된 바닥 평면의 정보는， 후술할 배경 모델 학습， 객체 검출， 그리고 객체 특징 추출 과정에서 사용될 수 있다. 바닥 검출부 ( 103)는 아래의 수학식 2 내지 5를 이용하여 바닥 평면 및 평면 기준 거리 값을 계산한다.
【수학식 2】
Figure imgf000012_0001
수학식 2에서， Pl , p2 ) 및 p3는 평면을 지나는 세 점이다. 방법 M100 또는 방법 Ml()l을 통해， Pl , P2 , 및 p3가 획득될 수 있다 .
방법 M100은 Pl , P2 , 및 p3가 사용자에 의해 설정된 세 점의 실세계 좌표 값을 가지도록 한다.
방법 M101은 Yrw (3차원 카메라 ( 101a)가 벽면에 설치된 경우) 또는
Zrw(3차원 카메라 ( 101a)가 천장에 설치된 경우)이 최소값을 가지는 한 점을 선택하고, 상기 선택된 점을 중심으로 상， 하， 좌， 우 주변 5cm에서 탐색된 모든 Xrw , Yrw, 누적하고， 상기 누적된 값의 평균을 구하고， 상기 평균을 이으로 지정한다. 그리고 방법 M101은 의 Zl (3차원 카메라 ( 101a)가 벽면에 설치된 경우) 또는 의 X (3차원 카메라 ( 101a)가 천장에 설치된 경우)가 80cm이상인 곳의 상， 하， 좌， 우 주변 50cm를 탐색하고， 이의 yi과의 차이가 임계치 이하인 한 점을 선택하고， 상기 선택된 점의 상， 하， 좌, 우 주변 5cm를 탐색하여 Xrw, Yrw , Zrw을 누적하고， 상기 누적된 값의 평균을 구하고， 상기 평균을 p2로 지정한다. 방법 M 1은 p2를 구하는 방식과 동일한 방식으로 p3를 구한다.
즉， 방법 M101은 Pl을， 3차원 좌표 (실세계 좌표)에서 Yrw가 최소값을 가지는 한 점으로 정의한다. 방법 M101은 p2를， 이의 Zl보다 80cm 이상인 곳의 상， 하， 좌， 우 주변으로 50cm를 탐색하여， 이의 yi과의 차이가 임계치 이하인 한 점으로 정의한다. 그리고， 방법 M101은 p3를, p2의 z2보다 80cm 이상인 곳의 상， 하， 좌， 우 주변으로 50cm를 탐색하여， p2의 y2와의 차이가 임계치 이하인 한 점으로 정의한다. 여기서， 80cm , 50cm, 5cm는 영상의 크기에 따라 임의로 설정되는 값으로， 영상의 크기에 따라 변경될 수 있다. 수학식 2의 세점 p2 , p3)을 이용하여， 아래의 수학식 3과 같은 평면 방정식이 구해질 수 있다.
【수학식 3】 ax + by + cz = d
수학식 3은 Pl, P2, p3이 지나는 평면을 나타낸다. 수학식 3에서， a, b, c는 평면 방적식의 계수를 나타내며， 아래의 수학식 4에 의해 구해질 수 있다.
【수학식 4】
b = ¾(¾ᅳ %) + ¾( 一 ¾) + ¾ fe一 )
¾ = ¾0¾― ½) + ( ᅳ yi) + 一 3¾) 그리고 수학식 3에서 d는 평면 기준 거리 값을 나타내며， 바닥 영역의 세점 (Pl,p2,p3)에 대해서는 0의 값을 가질 수 있다. 이러한 평면 기준 거리 값 (d)은 아래의 수학식 5와 같이 구해질 수 있다.
【수학식 5】 d = a*(realworldX - ptPointX) + b*(realworldY-ptPointY) + G*(realwordZ-ptPointZ) 수학식 5에서, realworldX, realworldY, 및 realworldZ 는 실세계 좌표 (즉， 3차원 좌표)를 의미하며， ptPointX, ptPointY, 및 ptPointZ는 바닥 평면의 임의의 한점 (예， Pl, p2, 또는 p3)을 나타낸다. 따라서， 바닥 평면의 모든 픽셀을 수학식 5에 적용하면， 바닥 평면에 대한 평면 기준 거리 값 (d)은 0이 될 수 있다.
수학식 3 또는 수학식 5에 의해 얻어진 평균 기준 거리 값 (d)이 소정의 임계치 (예， 3cm)이하이면， 바닥 영역 (바닥 평면)으로 간주될 수 있다. 바닥 영역으로 기준으로 하는 높이에 따른 깊이 영상이 생성될 수 있다.
도 4는 본 발명의 실시예에 따른, 바닥 검출 결과를 나타내는 도면이다. 구체적으로 도 4에서， (a)는 바닥 평면을 지나는 세점 (Ρι, ρ2 ι P3 )을 나타내고， (b)는 색상 영상을 나타내며 구체적으로 바닥 검출을 통해 검출된， d < 3cm 인 바닥 평면 (FP1)을 나타내고， (c)는 바닥 검출 결과에 기반하는 깊이 영상을 나타낸다. (c)에는 바닥 평면 (FP1)을 기준으로 0cm~5m의 높이 범위를 가지는 그레이 스케일 영상이 예시되어 있다. (c)에서 좌표가 바닥 평면 (FP1)에 가까울수록 어두운 그레이 레벨 (낮은 값)을 가진다. 배경 학습부 (104)는 바닥 검출부 (103)에 의해 검출된 바닥 영역을 기준으로 하는 높이 값을 누적하여, 배경 모델을 생성한다 (S104) . 구체적으로 배경 학습부 (104)는 소정의 초기 시간 (ta) (예， 10초) 동안에 영상의 영역 중 Zrw가 0인 영역을 배경 모델로써 누적하고, 그 이후 소정의 시간 (t ) (예， 30초) 동안에 영상의 영역 중 Zrw가 0이 아닌 영역에 대해 높이 값 (바닥 영역 기준)을 누적 평균하여, 초기 배경 모델을 생성할 수 있다. 즉， 배경 학습부 (104)는 바닥 영역 검출부 (103)에 의해 계산된 각 픽셀의 평면 기준 거리 :(d)을 소정의 시간 (t ) 동안에 누적하여 평균 값을 계산하고, 이 평균 값을 초기 배경 모델로써 생성할 수 있다. 여기서， 소정의 시간 (ta , t )는 3차원 카메라 (101a)의 초기 구동 이후의 소정의 시간이며， 사용자에 의해 설정될 수 있다. ■
도 5는 본 발명의 실시예에 따른， 배경 학습 결과를 나타내는 도면이다. 구체적으로 도 5에서， (a)는 색상 영상을 나타내며 구체적으로 바닥 검출부 (103)에 의해 검출된 바닥 영역 (FP1)을 나타내고， (b)는 깊이 영상 생성부 (101)에 의해 생성되며 깊이 정보 (Z)를 포함하는 깊이 영상을 나타내고， (c)는 높이 영상 (바닥 영역 (FP1)을 기준으로 하는 평면 기준 거리 값 (d) )을 기반으로 하는 배경 모델을 나타낸다. (c)에서， Cbgl은 영상의 영역 중 Zrw가 0인'영역의 배경 모델을 나타내고, Cbg2는 영상의 영역 중 Zrw가 0이 아닌 영역의 배경 모델을 나타낸다.
한편， 후술하는 객체 검출 과정 (배경 모델과 입력 영상을 비교)에 의해 객체가 검출된 경우에, 배경 학습부 ( 104)는 영상의 영역 중 배경으로써 식별된 영역을 실시간으로 배경 모델에 업데이트한다. 또한， 후술하는 사람 식별 과정에 의해 비사람 객체 (사람이 아닌 객체, 예， 물체)가 식별된 경우에， 배경 학습부 (104)는 비사람 객체도 배경 모델에 업데이트한다.
도 6은 본 발명의 실시예에 따른， 배경 업데이트 결과를 나타내는 도면이다. 구체적으로 도 6에서, (a)는 비사람 객체의 식별 결과 (1024 프레임)를 나타내고， (b)는 배경 학습부 ( 104)가 비사람 객체를 배경 모델에 업데이트한 결과 ( 1066 프레임)를 나타낸다.
도 6의 (a)에서， 1번째 영상은 입력된 색상 영상을 나타내고， 2번째 영상은 깊이 영상을 나타내고， 3번째 영상은 배경 모델을 나타내고， 4번째 영상은 검출된 객체 (Obi)를 나타내고， 5번째 영상은 레이블링 (예 , ID:0)이 적용된 객체 (Obi)를 나타낸다. 객체 (Obi)가 비사람 객체로 식별된 경우에， 배경 학습부 (104)는 도 6의 (b)에 예시된 바와 같이， 객체 (Obi)를 배경 모델에 업데이트한다. 도 6의 (b)에서， 1번째 영상은 입력된 색상 영상을 나타내고， 2번째 영상은 깊이 영상을 나타내고， 3번째 영상은 배경 모델 (객체 (Obi)가 배경 모델에 포함)을 나타내고, 4번째 영상은 객체 검출 영상 (검출 객체 없음)을 나타내고, 5번째 영상은 레이블링 영상을 나타낸다. 객체 검출부 (105)는 배경 학습부 (104)에 의해 생성된 배경 모델을 이용해 배경과 전경을 구분한다 (S105) . 구체적으로， 객체 검출부 ( 105)는 배경 모델과 현재 영상의 바닥 기준 높이 값 (평면 기준 거리 값 (d) ) 간의 차이가 검출용 임계치 아상인 영역을 전경으로써 검출하고， 검출용 임계치 미만이면 배경으로써 검출할 수 있다. 여기서， 배경은 움직이지 않는 영역 (예， 바닥， 벽면 등)을 의미하며， 전경은 객체 (예， 사람， 동물， 물체 등)가 움직이는 영역을 의미한다.
검출용 임계치는 바닥 기준 높이 값과 3차원 카메라 (101a)에 와해 획득되는 깊이 값 (거리 값)에 따라 다른 값을 가질 수 있다. 즉， 바닥 기준 높이 값과 깊이 값 (거리 값)이 검출용 임계치를 위한 가중치로써 사용될 수 있다. 예를 들어， 영상의 영역 중에서 바닥 영역으로부터 가깝고 3차원 카메라 (101a)로부터 거리 (깊이)가 가까운 영역 (객체)일수록 해당 영역 (객체)에는 작은 검출용 임계치가 적용되고， 바닥 영역으로부터 멀고 3차원 카메라 (101a)로부터 거리 (깊이 )가 먼 영역 (객체)일수록 해당 영역 (객체)에는 큰 검출용 임계치가 적용될 수 있다. 객체 검출부 (105)는 배경 모델과 특정 영역의 바닥 기준 높이 값 간의 차이가 해당 영역을 위한 검출용 임계치 이상인 경우에， 해당 영역을 객체로써 검출할 수 있다.
검출용 임계치는， 아래의 수학식 6과 같이 정의될 수 있다.
【수학식 6]
Foreground = Dfloor > θ θ = dx (weighty + weight
* D/loor― f loor一 Background Model
* Θ： threshold
* d = 2.5cm
* weighty = f loor * 0.01
* weightz = Zrw * 0.01 수학식 6은， Dfl00^l" Θ 보다 크면 해당 영역은 전경 (Foreground)에 해당하는 것을 나타낸다. 수학식 6에서， Θ는 검출용 임계치를 나타내고， Diloor는 현재 영상의 바닥 기준 높이 값 (floor)과 배경 모델 (Background model)간의 차이를 나타내고， weighty는 바닥 기준 높이 값 (floor)을 기초로 하는 가중치를 나타내고， ^^^는 깊이 값 (Zrw)을 기초로 하는 가중치를 나타낸다. 수학식 6에서, d는 2.5cm 인 것으로 가정하였으나， 다른 값으로 변경될 수 있다.
상술한 바와 같이， 객체 검출부 (105)에 의해 배경으로 검출된 영역은， 배경 학습부 (104)에 의해 실시간으로 배경 모델에 업데이트된다.
객체 검출부 (105)는 전경으로 검출된 영역에 대해， 거리 기반 레이블링을 적용하여 노이즈를 제거하고 관심 객체만을 검출한다. 여기서, 거리 기반 레이블링은 전경으로 검출된 영역의 픽셀 값을 탐색하여， 인접한 픽셀 값은 동일한 객체로 판단하여 동일한 레이블 ( label )을 할당하는 것을 의미한다. 객체 검출부 ( 105)는 검출 영상 결과의 인접한 픽셀 정보 (객체의 픽샐 값)와 각 픽셀이 가지고 있는 3차원 실세계 좌표 값 (Xrw, Yrw, Zrw)을 사용하여， 픽셀 간의 거리가 임계치 미만이면 해당 픽셀은 동일한 객체에 속하는 것으로 판단하여 동일한 레이블을 할당하고， 픽셀 간의 거리가 임계치 이상이면 해당 픽셀은 다른 객체에 속하는 것으로 판단하여 다른 레이블을 할당한다.
도 7은 본 발명의 실시예에 따른， 객체 검출 결과를 나타내는 도면이다.
도 7에서， (a)는 입력된 2차원 색상 영상을 나타내고， (b)는 깊이 영상 생성부 (101)에 의해 생성된 3차원 깊이 영상을 나타내고， (c)는 객체 검출부 (105)에 의해 검출된 전경 (객체)를 나타내고， (d)는 객체 검출부 (105)의 레이블링에 의해 최종적으로 검출된 객체를 나타낸다.
3차원 실세계 좌표값을 기반으로 하는 레이블링이 수행되는 경우에， 도 7의 (c)에서와 같이 두 객체의 픽샐들이 인접해 있더라도， 픽셀 거리 차이가 임계치 이상이기 때문에， 객체 검출부 (105)는 도 7의 (d)에서와 같이 두 객체를 다른 객체로 판단하여 각각에 다른 레이블 (예， ID: 1 , ID:2)을 할당한다. 따라서， 객체 검출부 (105)는 두 명 이상이 일정 거리를 두고 붙어있을 경우에도， 각각을 개별 객체로 분리 검출할 수 있다.
하지만， 2차원 영상을 기반으로 하는 레이블링이 수행되는 경우에는， 도 7의 (c)에서와 같이 두 객체의 픽셀들이 인접해 있다면， 두 객체는 동일한 객체로 잘못 판단되어 두 객체에 동일한 하나와 레이블만이 할당된다. 객체 특징 추출부 ( 106)는 객체 검출부 (105)에 의해 레이블링된 객체의 3차원 특징 (객체의 크기， 객체의 속도 등)을 계산한다 (S106) . 구체적으로， 객체 특징 추출부 (106)는 객체의 상， 하， 좌, 우， 중심점， Zrw의 최대 및 최소 위치에 대한 2차원 픽셀 좌표와 3차원 실세계 좌표를 추출하고， 이를 이용해 소정 단위 (예， cm)의 3차원 특징을 추출할 수 있다. 도 8은 본 발명의 실시예에 따른， 레이블 (예， ID:0)이 할당된 객체에 대한 상， 하， 좌， 우， 중심점， 깊이 (거리)의 최소 및 최대 픽셀의 위치를 나타내는 도면이다.
도 8에서， (a)는 3차원 카메라 ( 101a)가 측면에 설치된 경우에 추출되는 객체 특징점을 나타내고, (b)는 3차원 카메라 ( 101a)가 천장에 설치된 경우에 추출되는 객체 특징점을 나타낸다.
도 8의 (a)와 (b)에서， XMin은 X축 좌표의 최소 값 픽셀 위치를， XMax는 X축 좌표의 최대 값 픽샐 위치를 나타낸다. 도 8의 (a)와 (b)에서， YMin 및 YMax는 각각 Y축 좌표의 최소 값 픽셀 위치 및 최대 값 픽셀 위치를 나타내며， ZMin 및 ZMax는 각각 Z축 좌표의 최소 값 픽셀 위치 및 최대 값 픽샐 위치를 나타낸다. 그리고 도 8의 (a)와 (b)에서， CoM3d는 객체의 중심점에 대한 픽셀 위치를 나타낸다. 즉， 추출되는 객체 특징점은 아래의 표 1과 같다.
【표 1】
Figure imgf000018_0001
CoM2d 검출된 객체의 이미지 좌표 i, j의 중심점
CoM3d 검출된 객체의 실세계 좌표 Xrw, Yrw, zrw의 증심점 객체 특징 추출부 (106)는 3차원 실세계 좌표 (Xrw, Yrw, Zrw)를 이용하여 아래의 표 2과 같이, 객체의 높이， 너비, 두께， 이동 속도 등 3차원 특징을 추출한다.
2】
Figure imgf000019_0001
3차원 카메라 (101a)가 측면에 설치된 경우에， 3D Height는 바닥을 기준으로 객체의 최상위점까지의 높이를 나타냄
- 3차원 카메라 (101a)가 천장에 설치된 경우
( Normal. χ χ (ΖΜϊΐι.χ― ptPoint. ))
3D Height = < ( Normal, y X (Z in. ― ptPoint, y)) + ►
(、 (vNorrnaLz x .(ZMin. z― ptPoint. z)) ) 상기 수학식에서， vNormaI.x,y,z는 바닥의 노멀 (수학식 4의 a, b, c)의 좌표를 나타내고， ptPoint. x,y,z는 바닥의 한 점의 좌표를 나타내고， CoM3d.x,y,z는 3차원 중심점의 좌표를 나타내고， ZMin.x,y,z는 Z축 최소값 픽셀의 좌표를 나타내고, YMax.y는 객체의 최상위점을 나타냄
3차원 너비
3D Width = XMaxrw― XMinrw
3차원 두께
3D Depth = ZMaxrw - ZMinrw
2차원 높이
2D Height = YMaxy一 YMtny
2차원 너비
2D Width = XMaxx― XMinx 이동 속도
Speed = Speedx 2 + Speedz 2
* Speedx; |CoM3dx(t) CoM3dx(t— 1 * (0.001 * FPS)
* Speedz : |CoM3dz(t)— CoM3dz(t—)1 * (0,001 * FPS) 상기 수학식에서， CoM3dx(t)와 CoM3dz(t) 각각은 현재 프레임의 중심점 X와 z를 나타내며， ！ ^ 와 CoM3dz(rt)각각은 1프레임 전의 증심점 X와 z를 나타내고， FPS는 초당 처리되는 프레임 수를 나타냄 객체 추적부 (107)는 객체 특징 추출부 (106)에 의해 추출된 객체 특징에 대해서 실시간으로 추적한다 (S107). 구체적으로， 객체 추적부 (107)는 객체 특징 추출 결과를 이용해 객체의 움직임을 추적함으로써， 해당 객체에 동일한 ID를 할당할 수 있다. 즉， 객체 추적부 (107)는 이전 프레임에서 검출된 객체의 특징점 (예， YMax.xrw, YMax . yrw , YMax.zrw, YMin.xrw, YMin.yrw, YMin.zrw, CoM2d . x , CoM2d.y, CoM3d.x, CoM3d.y, CoM3d.z, speed 등)과 현재 프레임에서 검출된 객체의 특징점 (예, YMax.xrw, YMax . yrw , YMax.zrw, YMin.xrw, YMin.yrw, YMin.zrw, CoM2d.x, CoM2d.y, CoM3d.x, CoM3d.y, CoM3d.z, speed 등)을 이용하여， 유클리드 거리 (Euclidean distance)를 계산할 수 있다. 그리고 객체 추적부 (107)는 계산된 유클리드 거리 값이 임계치 이내인 경우에는， 이전 프레임의 객체와 현재 프레임의 객체는 동일한 객체인 것으로 판단하고， 이전 프레임에서 해당 객체에 할당된 ID를 현재 프레임에서 해당 객체에 할당할 수 있다. 식별부 (108)는 객체 추적부 (107)에 의해 추적된 객체가 타겟 타입의 객체 (예， 사람 객체)인지를， 3차원 머리 모델 매칭 (head model matching)을 통해 식별한다 (S108). 구체적으로， 식별부 (108)는 추적된 객체 내에 사람의 머리가 존재하는지를 판단하여， 해당 객체가 사람인지를 식별할 수 있다. 객체가사람으로 식별된 경우에， 해당 객체의 인식 특징이 계산되고， 객체가 사람으로 식별되지 않은 경우에, 해당 객체는 배경 모델로 업데이트된다. 식별부 (108)의 사람 식별 과정은 머리 모델 생성 과정， 머리 후보 영역 지정 과정， 그리고 매칭 스코어 계산 과정을 포함한다. 도 9a, 도 9b, 및 도 9c는 본 발명의 실시예에 따른， 사람 식별 과정 중 머리 모델 생성 과정과 머리 후보 영역 지정 과정을 나타내는 도면이고， 도 10a는 본 발명의 실시예에 따른， 사람 식별 과정 중 매칭 스코어 계산 과정을 나타내는 도면이다.
구체적으로 식별부 (108)는 도 9a에 예시된 바와 같이， 원의 중심이 0cm의 깊이 (거리)를 가지며 원의 바깥쪽이 5cm의 깊이 (거리)를 가지는 원을 3차원 머리 모델로써 생성할 수 있다. 즉， 소정의 깊이를 가지는 3차원 머리 모델의 단면은 원이다. 도 9a에는 0cm~5cm의 깊이 범위 (거리 범위)를 가지는 3차원 머리 모델이 예시되어 있다. 도 9a에서， (a)는 3차원 머리 모델의 탑 뷰 (top view)를 나타내고 깊이 범위에 따라 색상， 채도， 명도 등이 달라지며 (예， 청색-〉홍색)， (b)는 3차원 머리 모델의 사이드 뷰 (s ide vi ew)를 나타내며 깊이 범위에 따라 색상， 채도, 명도 등이 달라진다.
식별부 ( 108)는 3차원 머리 모델 생성 후에， 도 9b에 예시된 바와 같이， 머리 후보 영역을 지정할 수 있다. 도 9b에서， (a)는 3차원 카메라 ( 101a)가 천장에 설치된 경우를 나타내고， (b)는 3차원 카메라 ( 101a)가 측면 (벽면)에 설치된 경우를 나타낸다.
식별부 ( 108)는 객체의 픽셀들 중에서 3차원 카메라 ( 101a)를 기준으로 최소 깊이 값을 가지는 픽셀 (3차원 카메라 ( 101a)가 천장에 설치된 경우) 또는 바닥 영역을 기준으로 최대 높이 값을 가지는 픽셀 (3차원 카메라 (101a)가 측면에 설치된 경우)을 중심으로 하며 소정의 반지름을 가지는 원 영역을, 머리 후보 영역으로 지정할 수 있다. 즉， 식별부 ( 108)는 추적된 객체의 ZMin(3차원 카메라 ( 101a)가 천장에 설치된 경우， 예， 도 9b의 (a) ) 또는 YMax(3차원 카메라 ( 101a)가 측면에 설치된 경우, 예， 도 9b의 (b) )를 중심으로， 반지름이 5cm인 원 영역을 머리 후보 영역으로 지정할 수 있다.
한편, 식별부 ( 108)는 도 9c에 예시된 바와 같이， 여러 객체가 겹쳐져 있는 경우를 고려할 수 있다. 도 9c에는 3차원 카메라 ( 101a)가 천장에 설치된 경우가 예시되어 있으며， 구체적으로 도 9c에서， (a)는 1번째 머리 후보 영역을 나타내고， (b)는 1번째 머리 후보 영역과 2번째 머리 후보 영역을 나타낸다. 2번째 머리 후보 영역은 레이블 ( ID : 1)을 할당 받은 객체에 해당한다.
구체적으로 식별부 ( 108)는 도 9c의 (a)에 예시된 바와 같이， 객체의 ZMinC lst ZMin)을 이용해 1번째 머리 후보 영역을 지정할 수 있다. 여기서， 1번째 머리 후보 영역은 레이블 ( ID: 0)을 할당 받은 객체에 해당한다. 그리고 식별부 ( 108)는 객체의 전체 픽셀 개수 (예， 도 9c의 (b)에서， 좌측 객체의 픽샐 수， 우측 객체의 픽셀 수， 그리고 카트의 픽셀 수를 포함) 대비
1번째 머리 후보 영역이 차지하는 픽셀이 일정 비율 이하일 경우에， 도 9c의 (b)에 예시된 바와 같이， 1번째 머리 후보 영역을 제외한 나머지 영역 (예， 도 9c의 (b)에서， 좌측 객체의 영역 중 1번째 머리 후보 영역을 제외한 나머지 영역， 우측 객체， 그리고 카트를 포함)에 대해， ZMin(2nd ZMin) 또는 YMax를 재추출하여 2번째 머리 후보 영역을 지정할 수 있다. 식별부 ( 108)는 머리 후보 영역을 제외한 나머지 영역의 픽셀 개수 (예， 도 9c의 (b)에서， 좌측 객체의 영역 중 1번째 머리 후보 영역을 제외한 나머지 영역, 우측 객체의 영역 중 2번째 머리 후보 영역을 제외한 나머지 영역， 그리고 카트를 포함)가 임계치 이하가 될 때까지， 상술한 과정을 반복하여， 여러 개의 머리 후보 영역을 지정할 수 있다.
식별부 ( 108)는 도 10a에 예시된 바와 같이， 매칭 스코어를 계산할 수 있다. 구체적으로， 식별부 ( 108)는 3차원 머리 모델과 머리 후보 영역 간의 매칭 스코어 (matching score)를 계산하여， 사람 객체와 비사람 객체를 식별할 수 있다. 상술한 바와 같이, 비사람 객체는 배경 모델로 업데이트된다.
식별부 ( 108)는 매칭 스코어를 계산하기 위해， 3차원 머리 모델과 머리 후보 영역에 깊이 값 기반의 히스토그램 투영 (hi stogram project ion)을 적용하여 히스토그램을 생성하고， 히스토그램을 이용해 아래의 수학식 7의 바타차야 거리 (Bhattacharyya di stance)를 계산할 수 있다.
【수학식 7】
Figure imgf000023_0001
수학식 7에서， ( i )과 H2( i )은 각각 3차원 머리 모델의 히스토그램 (또는 템플릿 히스토그램)과 머리 후보 영역의 히스토그램 (또는 머리 후보 히스토그램)을 나타낸다.
그리고 식별부 ( 108)는 계산된 바타차야 거리가 0에 가까운 경우 (임계치 이하인 경우)에， 해당 머리 후보 영역을 가지는 객체를 사람으로 식별할 수 있고， 해당 객체의 인식 특징을 계산할 수 있다.
도 10b는 본 발명의 실시예에 따른, 3차원 머리 모델 매칭 결과를 나타내는 도면이다. 도 10b에서， (a)는 탑 뷰 (top view) 머리 모델 매칭 결과를 나타내고， (b)는 사이드 뷰 (side view) 머리 모델 매칭 결과를 나타낸다. 인식 특징 계산부 (109)는 식별부 ( 108)에 의해 식별된 사람 객체에 대하여， 인식 특징 (예， 이동자 계수， 군집， 잔류자 감지를 위한 특징 등)올 계산한다 (S109) .
구체적으로 인식 특징 계산부 (109)는 이동자 계수를 계산할 수 있다. 여기서, 이동자 계수는 단방향 또는 양방향으로 이동하는 사람의 수를 측정하는 것을 의미한다. 이동자의 수가 파악되면， 특정 공간의 시간대별 흔잡도가 분석될 수 있고， 이는 마케팅 용도로써 활용될 수 있다. 또한 이동자의 수가 파악되면, 특정 공간에 오랫동안 머물러 있는 잔류자가 감지될 수 있고， 이는 사고 감지 및 예방 용도로써 활용될 수 있다. 인식 특징 계산부 (109)는 감지 공간 (감지 영역) 내 이동자가 계수될 위치에 카운트 라인을 설정할 수 있고， 사람 객체의 머리 중심점이 카운트 라인을 통과하면 통과 객체를 카운트할 수 있다.
도 11a는 본 발명의 실시예에 따른， 3차원 카메라 (101a)가 천장에 설치된 경우에 카운트 라인 설정을 나타내는 도면이다.
인식 특징 계산부 (109)는 카운트 라인을 1개 이상 설정할 수 있다. 카운트 라인이 설정되면， 도 11a에 예시된 바와 같이， 인식 특징 계산부 (109)는 카운트 라인의 앞 및 뒤 ±10cm 위치에 가상 카운트 라인을 자동으로 설정할 수 있다.
인식 특징 계산부 (109)는 사람 객체의 머리 중심점이 카운트 라인과 가상 카운트 라인을 모두 통과하는 경우에， 통과 방향에 따라 In 객체 (예， 입실자) 또는 Out 객체 (예， 퇴실자)를 카운트할 수 있다. 예를 들어， 인식 특징 계산부 (109)는 사람 객체의 머리 중심점이 카운트 라인과 앞 가상 카운트 라인을 순차적으로 통과하는 경우에， 입실자 수를 카운팅하고， 사람 객체의 머리 중심점이 카운트 라인과 뒤 가상 카운트 라인을 순차적으로 통과하는 경우에， 퇴실자 수를 카운팅할 수 있다. 인식 특징 계산부 ( 109)는 이동자 수에 대한 알람을 발보할 수 있다.
인식 특징 계산부 ( 109)는 흔잡도를 계산할 수 있다. 구체적으로， 인식 특징 계산부 ( 109)는 바닥 검출 결과를 기반으로， 감지 영역의 바닥 넓이와 사람 객체의 너비, 두께， 및 높이를 이용하여， 흔잡도를 계산할 수 있다.
도 lib는 본 발명의 실시예에 따른， 바닥 넓이를 계산하기 위한 특징을 추출하는 방법을 나타내는 도면이다. 도 lib에는 색상 영상이 예시되어 있다.
인식 특징 계산부 ( 109)는 바닥 넓이를 계산하기 위하여， 바닥으로 감지된 영역 (예， d < 3cm인 f loor ) 내에서 카메라 ( 101a)와 가장 가까운 부분인 Floor_Zmin과 가장 먼 부분인 Floor_Zmax를 찾을 수 있다. 그리고 인식 특징 계산부 ( 109)는 Floor_Zmin과 Floor_Zmax 각각을 기준으로， 가장 왼쪽의 한 점 (Floor_Zmin .Xmin, Floor_Zmax .Xmin)과 가장 오른쪽의 한 점 (Floor_Zmin .Xmax , Floor_Zmax .Xmax)을 찾을 수 있다. < 즉， 인식 특징 계산부 ( 109)는 Floor_Zmin에 해당하는 지점들 중에서 가장 좌측 지점인 Floor_Zmin.Xrain과 가장 우측 지점인 Floor_Zmin .Xmax을 구할 수 있고， Floor_Zmax에 해당하는 지점들 중에서 가장 좌측 지점인 Floor_Zmax .Xmin과 가장 우측 지점인 Floor_Zmax .Xmax 을 구할 수 있다.
그리고 인식 특징 계산부 ( 109)는 가장 왼쪽의 한 점 (Floor_Zmin.Xmin Floor_Zmax .Xmin)과 가장 오른쪽의 한 점 (Floor_Zmin.Xmax , Floor_Zmax .Xmax)을 이용해， 감지 영역 (또는 바닥 영역)의 가로 길이와 세로 길이를 계산할 수 있다. 그리고 인식 특징 계산부 ( 109)는 감지 영역 (또는 바닥 영역)의 가로 길이와 세로 길이를 이용해, 바닥 영역의 넓이를 계산할 수 있다. 도 lib에는 바닥 영역의 가로 길이가 2.8m이고 세로 길이가 5.8m 인 경우가 예시되어 있다.
인식 특징 계산부 ( 109)는 바닥 영역의 넓이와 사람 객체의 너비， 두께， 및 높이를 이용하여， 아래의 수학식 8과 같이 정의되는 흔잡도를 계산할 수 있다.
【수학식 8】
Figure imgf000026_0001
수학식 8에서， Floor Area는 감지 영역의 바닥 넓이를 나타내고, Head Width는 감지 영역 내에 존재하는 전체 사람 객체의 머리 너비를 나타내고， Head Depth는 감지 영역 내에 존재하는 전체 사람 객체의 머리 두께 또는 머리 높이를 나타낸다. 그리고 인식 특징 계산부 ( 109)는 흔잡도에 따라 군집 상황을 판단할 수 있다. 예를 들어， 인식 특징 계산부 ( 109)는 흔잡도가 임계치 이상인 경우에， 군집 형성을 감지할 수 있다. 인식 특징 계산부 ( 109)는 군집 상황을 감지한 경우에， 알람을 발보할 수 있다.
인식 특징 계산부 ( 109)는 잔류 시간을 측정할 수 있다.
도 11c는 본 발명의 실시예에 따른， 잔류자 감지 방법을 나타내는 도면이다.
인식 특징 계산부 ( 109)는 이동자 계수 정보를 활용하여, 입실자와 퇴실자의 수를 체크할 수 있다. 인식 특징 계산부 (109)는 입실자의 수와 퇴실자의 수가 동일하자 않는 경우에， 잔류자가 존재하는 것으로 판단할 수 있다. 잔류자의 수는 입실자의 수 - 퇴실자의 수 이다. 도 11c에는 입실자가 10명이고 퇴실자가 9명이고 잔류자가 1명인 경우가 예시되어 있다. 인식 특징 계산부 (109)는 잔류자의 잔류 시간을 누적할 수 있다. 인식 특징 계산부 ( 109)는 잔류 시간이 일정 임계치 이상일 경우에， 알람을 발보할 수 있다. 프로세서 ( 120)는 본 명세서에서 감지 장치 ( 100)와 관련하여 기술된 절차， 기능， 및 방법들을 구현하도록 구성될 수 있다. 또한， 프로세서 ( 120)는 감지 장치 ( 100)의 각 구성을 제어할 수 있다.
메모리 (121)는 프로세서 ( 120)와 연결되고， 프로세서 (120)의 동작과 관련된 다양한 정보를 저장한다. 지금까지， 감지 장치 ( 100)가 3차원 카메라 ( 101a)를 이용하여 이동자를 계수하고， 이동자 계수 정보에 기초하여 이상 상황 (예， 잔류자， 군집 등)을 감지하는 방법에 대하여 설명하였다. 도 12a 내지 도 12f를 참고하여， 본 발명의 실시예에 따른 감지 방법을 정리한다.
감지 장치 ( 100)는 천장 또는 벽면에 설치된 3차원 카메라 ( 101a)로부터 깊이 (depth) 정보를 획득하고， 깊이 정보를 이용해 객체를 검출하고， 상기 검출된 객체들 중 사람만을 3차원 머리 모델 매칭 (head model matching)을 통해 식별한다. 그리고 감지 장치 ( 100)는 감지 공간 내의 흔잡도를 측정한다.
감지 장치 (100)는 도 12a와 도 12b에 예시된 바와 같이， 구역별 흔잡도 (Sect ion A, Sect ion B , Sect ion C , Sect ion D)와 전체 흔잡도를 측정할 수 있고， 흔잡도를 이용해 군집 상황을 감지할 수 있다..
도 12a는 본 발명의 실시예에 따른， 천장에 3차원 카메라 ( 101a)가 설치돤 경우에 흔잡도를 측정하는 방법올 나타내는 도면이고， 도 12b는 본 발명의 실시예에 따른， 측면 (벽면)에 3차원 카메라 ( 101a)가 설치된 경우에 흔잡도를 측정하는 방법을 나타내는 도면이다. 도 12a는 각 구역이 2.5mx3.5m인 경우가 예시되어 있다. 도 12b에는 3차원 카메라 (101a)가 바닥으로부터 2. 1m높이에 15도 각도로 설치된 경우가 예시되어 있다.
그리고 감지 장치 ( 100)는 도 12c 및 도 12d에 예시된 바와 같이， 카운트 라인을 통과하는 이동자를 계수할 수 있다.
도 12c는 본 발명의 실시예에 따른， 천장에 3차원 카메라 ( 101a)가 설치된 경우에 이동자를 계수하는 방법을 나타내는 도면이고， 도 12d는 본 발명의 실시예에 따른， 측면 (벽면)에 3차원 카메라 ( 101a)가 설치된 경우에 이동자를 계수하는 방법을 나타내는 도면이다.
그리고 감지 장치 (100)는 도 12e 및 도 12f에 예시된 바와 같이， 출입하는 이동자의 수를 기반으로 특정 공간의 잔류자를 감지하고， 이를 통해 이상 상황을 감지할 수 있다.
도 12e는 본 발명의 실시예에 따른， 천장에 3차원 카메라 ( 101a)가 설치된 경우에 잔류자를 감지하는 방법을 나타내는 도면이고， 도 12f는 본 발명의 실시예에 따른， 측면 (벽면)에 3차원 카메라 ( 101a)가 설치된 경우에 잔류자를 감지하는 방법을 나타내는 도면이다. 도 12e 및 도 12f에는 입실자가 6명이고 퇴실자가 5명이고 잔류자가 1명인 경우가 예시되어 있다. 한편， 본 발명의 실시예는 지금까지 설명한 장치 및 /또는 방법을 통해서만 구현되는 것은 아니며， 본 발명의 실시예의 구성에 대웅하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며， 이러한 구현은 상술한 실시예의 기재로부터 본 발명이 속하는 기술 분야의 당업자라면 쉽게 구현할 수 있는 것이다. 이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims

【청구의 범위】
【청구항 1]
카메라에 의해 획득되는 영상의 깊이 정보를 이용해， 상기 영상으로부터 적어도 하나의 객체를 검출하는 단계;
상기 적어도 하나의 객체의 머리 후보 영역과 3차원 머리 모델을 비교하는 3차원 머리 모델 매칭 (head model matching)을 통해， 상기 적어도 하나의 객체가 사람인지를 식별하는 단계; 및
상기 적어도 하나의 객체가 사람으로 식별된 경우에, 상황 감지를 위한 특징을 상기 적어도 하나의 객체를 이용해 계산하는 단계
를 포함하는 감지 장치의 감지 방법 .
【청구항 2】
제 1항에 있어서，
상기 식별하는 단계는，
상기 적어도 하나의 객체의 픽샐들 중에서 상기 카메라를 기준으로 최소 깊이 값을 가지는 제 1 픽샐과 상기 영상의 바닥 영역을 기준으로 최대 높이 값을 가지는 제 2 픽셀 중 적어도 하나를 중심으로 하며 소정의 반지름을 가지는 원 영역을， 제 1 머리 후보 영역으로 지정하는 단계를 포함하는
감지 장치의 감지 방법 .
【청구항 3】
제 2항에 있어서,
상기 식별하는 단계는，
상기 적어도 하나의 객체의 전체 픽샐 수와 상기 제 1 머리 후보 영역이 차지하는 픽셀 수 간의 비율이 제 1 임계값 이하인 경우에， 상기 적어도 하나의 객체의 영역 중에서 상기 게 1 머리 후보 영역을 제외한 나머지 영역을 구하는 단계;
상기 나머지 영역의 픽셀들 중에서 상기 카메라를 기준으로 최소 깊이 값을 가지는 제 3 픽셀과 상기 바닥 영역을 기준으로 최대 높이 값을 가지는 제 4 픽셀 증 적어도 하나를 추출하는 단계; 및 상기 제 3 픽셀과 상기 제 4 픽셀 중 적어도 하나를 중심으로 하며 소정의 반지름을 가지는 원 영역을， 제 2 머리 후보 영역으로 지정하는 단계를 더 포함하는
감지 장치의 감지 방법 .
【청구항 4】
제 2항에 있어서，
상기 식별하는 단계는,
소정의 깊이를 가지는 상기 3차원 머리 모델을 생성하는 단계; 및 상기 제 1 머리 후보 영역과 상기 3차원 머리 모델 간의 바타차야 거리 (Bhat tacharyya di stance)를 계산하는 단계를 더 포함하는
감지 장치의 감지 방법 .
【청구항 5]
제 4항에 있어서，
상기 바타차야 거리를 계산하는 단계는，
상기 제 1 머리 후보 영역과 상기 3차원 머리 모델에 깊이 기반의 히스토그램 투영 (hi stogram proj ect ion)을 적용하여， 제 1 히스토그램과 제 2 히스토그램을 생성하는 단계; 및
상기 게 1히스토그램과 상기 제 2히스토그램을 이용해， 상기 바타차야 거리를 계산하는 단계를 포함하는
감지 장치의 감지 방법 .
【청구항 6】
제 5항에 있어서，
상기 제 1 히스토그램과 상기 게 2 히스토그램을 이용해 상기 바타차야 거리를 계산하는 단계는，
아래의 수학식 1을 이용해， 상기 바타차야 거리를 계산하는 단계를 포함하는
감지 장치의 감지 방법 .
[수학식 1] f∑i*i(0 *∑i慶 2 ®
(¾ :상기 바타차야 거리， H^ i ) :상기 제 1히스토그램， ¾( i ) :상기 제 2 히스토그램)
【청구항 7]
제 4항에 있어서，
상기 식별하는 단계는，
상기 바타차야 거리가 게 1임계값 이하인 경우에，상기 적어도 하나의 객체 중 상기 제 1 머리 후보 영역을 포함하는 객체를 사람으로 식별하는 단계를 더 포함하는
감지 장치의 감지 방법 .
【청구항 8】
제 1항에 있어서，
상기 상황 감지를 위한 특징을 계산하는 단계는,
카운트 라인을 설정하는 단계;
상기 카운트 라인으로부터 소정의 거리만큼 떨어진 위치에 가상 카운트 라인을 설정하는 단계; 및
상기 적어도 하나의 객체의 중심점이 상기 카운트 라인과 상기 가상 카운트 라인을 통과하는 경우에， 이동자 수를 카운팅하는 단계를 포함하는 감지 장치의 감지 방법 .
【청구항 9】
제 8항에 있어서，
상기 가상 카운트 라인은， 상기 카운트 라인으로부터 제 1 방향으로 소정의 거리만큼 떨어진 위치에 설정된 제 1 가상 카운트 라인과 상기 카운트 라인으로부터 상기 게 1 방향의 반대인 제 2 방향으로 소정의 거리만큼 떨어진 위치에 설정된 제 2 가상 카운트 라인을 포함하고，
상기 카운팅하는 단계는，
상기 적어도 하나의 객체의 증심점이 상기 카운트 라인과 상기 제 1 가상 카운트 라인을 순차적으로 통과하는 경우에， 상기 제 1 방향의 이동자 수를 카운팅하는 단계 ; 및
상기 적어도 하나의 객체의 중심점이 상기 카운트 라인과 상기 제 2 가상 카운트 라인을 순차적으로 통과하는 경우에， 상기 제 2 방향의 이동자 수를 카운팅하는 단계를 포함하는
감지 장치의 감지 방법 .
【청구항 10】
'제9항에 있어서,
상기 상황 감지를 위한 특징을 계산하는 단계는，
상기 게 1방향의 이동자 수와 상기 제 2방향의 이동자 수 간의 차이를 계산하는 단계 ;
상기 차이에 해당하는 잔류자의 잔류 시간을 측정하는 단계 ; 및 상기 잔류 시간이 제 1임계값 이상인 경우에， 알람을 발보하는 단계를 포함하는
감지 장치의 감지 방법 .
【청구항 11】
거 U항에 있어서，
상기 상황 감지를 위한 특징을 계산하는 단계는，
상기 영상의 바닥 영역의 넓이인 제 1 값을 계산하는 단계;
상기 적어도 하나의 객체의 너비인 제 2 값을 계산하는 단계; 및 상기 제 1 값과 상기 제 2 값을 이용해， 흔잡도를 계산하는 단계를 포함하는
감지 장치의 감지 방법 .
【청구항 12】
제 11항에 있어서，
상기 제 1 값을 계산하는 단계는，
상기 바닥 영역 내에서 상기 카메라와 가장 가까운 제 1 영역과 상기 카메라와 가장 먼 제 2 영역을 구하는 단계;
상기 제 1 영역의 지점들 중에서 가장 좌측 지점인 제 1 지점과 가장 우측 지점인 제 2 지점을 구하는 단계;
상기 제 2 영역의 지점들 중에서 가장 좌측 지점인 계 3 지점과 가장 우측 지점인 제 4 지점을 구하는 단계; 및
상기 제 1 지점， 상기 제 2 지점， 상기 게 3 지점， 및 상기 제 4 지점을 이용해， 상기 바닥 영역의 가로 길이와 세로 길이를 계산하는 단계를 포함하는
감지 장치의 감지 방법 .
【청구항 13]
제 11항에 있어서，
상기 상황 감지를 위한 특징을 계산하는 단계는，
상기 흔잡도가 제 1 임계값 이상인 경우에， 군집 형성을 감지하는 단계를 더 포함하는
감지 장치의 감지 방법 .
【청구항 14]
게 1항에 있어서，
상기 영상은 상기 영상의 바닥 영역으로부터 제 1 높이만큼 떨어지며 상기 카메라로부터 제 1 깊이만큼 떨어진 게 1 영역을 포함하고，
상기 적어도 하나의 객체를 검출하는 단계는，
상기 제 1 높이와 상기 거 U 깊이에 기초해, 상기 제 1 영역을 위한 계 1 임계값을 계산하는 단계 ; 및
상기 영상의 배경 모델과 상기 게 1높이 간의 차이가 상기 제 1임계값 이상인 경우에， 상기 제 1 영역을 객체로써 검출하는 단계를 포함하는
감지 장치의 감지 방법 .
【청구항 15】
카메라에 의해 획득되는 영상의 깊이 정보를 이용해， 적어도 하나의 객체를 검출하는 객체 검출부;
상기 적어도 하나의 객체의 머리 후보 영역과 3차원 머리 모델을 비교하여, 상기 적어도 하나의 객체가 타켓 타입의 객체인지를 식별하는 시 ： ^ τύ
"ᄀ 5丁 ' 상기 적어도 하나의 객체가 상기 타겟 타입 객체로 식별된 경우에， 상황 감지를 위한 특징을 상기 적어도 하나의 객체를 이용해 계산하는 인식 특징 계산부
를 포함하는 감지 장치 .
【청구항 16】
제 15항에 있어서，
상기 식별부는，
상기 적어도 하나의 객체의 픽셀들 중에서 상기 카메라를 기준으로 최소 깊이 값을 가지는 게 1 픽셀과 상기 영상의 바닥 영역을 기준으로 최대 높이 값을 가지는 제 2픽셀 중 적어도 하나를 구하고， 상기 제 1 픽셀과 상기 제 2 픽셀 중 적어도 하나를 중심으로 하며 소정의 반지름을 가지는 원 영역을 제 1 머리 후보 영역으로 지정하는
감지 장치 .
【청구항 17]
제 16항에 있어서，
상기 식별부는，
상기 제 1 머리 후보 영역과 상기 3차원 머리 모델 간의 바타차야 거리가 게 1 임계값 이하인 경우에， 상기 적어도 하나의 객체 중 상기 제 1 머리 후보 영역을 포함하는 객체를 사람으로써 식별하는
감지 장치 .
【청구항 18】
제 15항에 있어서,
상기 인식 특징 계산부는，
설정된 카운트 라인으로부터 제 1 방향과 제 2 방향 각각으로 소정의 거리만큼 떨어진 위치에 제 1 가상 카운트 라인과 제 2 가상 카운트 라인을 설정하고， 상기 적어도 하나의 객체의 중심점이 상기 카운트 라인과 상기 제 1 가상 카운트 라인을 통과하는 경우에， 상기 제 1 방향의 이동자 수를 카운팅하고， 상기 적어도 하나의 객체의 중심점이 상기 카운트 라인과 상기 거 12 가상 카운트 라인을 통과하는 경우에， 상기 제 2 방향의 이동자 수를 카운팅하는
감지 장치.
【청구항 19】
제 18항에 있어서，
상기 인식 특징 계산부는，
상기 제 1방향의 이동자 수와 상기 제 2방향의 이동자 수 간의 차이를 이용해 잔류자를 판단하고, 상기 잔류자의 잔류 시간이 제 1 임계값 이상인 경우에， 알람을 발보하는
감지 장치 .
【청구항 20】
제 15항에 있어서，
상기 인식 특징 계산부는，
상기 영상의 바닥 영역 내에서 상기 카메라와 가장 가까운 제 1 영역과 상기 카메라와 가장 먼 계 2 영역을 구하고, 상기 제 1 영역의 지점들 중에서 가장 좌측 지점인 게 1 지점과 가장 우측 지점인 제 2 지점과 상기 제 2 영역의 지점들 중에서 가장 좌측 지점인 제 3 지점과 가장 우측 지점인 제 4 지점을 구하고， 상기 제 1 지점 내지 상기 제 4 지점을 이용해 상기 바닥 영역의 넓이인 제 1값을 계산하고，상기 제 1값과 상기 적어도 하나의 객체의 너비인 제 2 값을 이용해 흔잡도를 계산하는
감지 장치 .
PCT/KR2016/007913 2016-04-22 2016-07-20 이상 상황을 감지하는 장치 및 방법 WO2017183769A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/094,971 US10853664B2 (en) 2016-04-22 2016-07-20 Device and method for detecting abnormal situation
CN201680084843.1A CN109076190B (zh) 2016-04-22 2016-07-20 检测异常情况的设备和方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160049593A KR101788269B1 (ko) 2016-04-22 2016-04-22 이상 상황을 감지하는 장치 및 방법
KR10-2016-0049593 2016-04-22

Publications (1)

Publication Number Publication Date
WO2017183769A1 true WO2017183769A1 (ko) 2017-10-26

Family

ID=60116894

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/007913 WO2017183769A1 (ko) 2016-04-22 2016-07-20 이상 상황을 감지하는 장치 및 방법

Country Status (4)

Country Link
US (1) US10853664B2 (ko)
KR (1) KR101788269B1 (ko)
CN (1) CN109076190B (ko)
WO (1) WO2017183769A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019088335A1 (ko) * 2017-11-06 2019-05-09 전자부품연구원 지능형 협업 서버, 시스템 및 이의 협업 기반 분석 방법

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10650249B2 (en) * 2016-10-25 2020-05-12 Shenzhen University Method and device for counting pedestrians based on identification of head top of human body
JP2019015553A (ja) * 2017-07-05 2019-01-31 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法および個体撮像装置
WO2019084854A1 (en) * 2017-11-01 2019-05-09 Nokia Technologies Oy Depth-aware object counting
JP2019096072A (ja) * 2017-11-22 2019-06-20 株式会社東芝 物体検出装置、物体検出方法およびプログラム
KR102042343B1 (ko) * 2018-04-13 2019-11-07 경북대학교 산학협력단 3차원 스캐닝을 통해 획득된 점군 데이터 기반에서 깊이 이미지를 생성하는 장치 및 방법 및 이를 이용한 3차원 객체 식별 방법
US11048948B2 (en) * 2019-06-10 2021-06-29 City University Of Hong Kong System and method for counting objects
CN110705417A (zh) * 2019-09-24 2020-01-17 杭州驭光光电科技有限公司 人头计数方法及光投射装置
CN111368634B (zh) * 2020-02-05 2023-06-20 中国人民解放军国防科技大学 基于神经网络的人头检测方法、***及存储介质
KR102187123B1 (ko) * 2020-02-12 2020-12-04 주식회사 카카오뱅크 홀로그램 검출 서비스 제공 서버 및 홀로그램 검출 방법
JP2021197623A (ja) * 2020-06-12 2021-12-27 キヤノン株式会社 撮像装置及びその制御方法及びプログラム
KR102492161B1 (ko) * 2021-06-16 2023-01-26 주식회사 에스에프에이 반송시스템을 위한 이송차량 및 그 이송차량의 구동방법
CN113706472B (zh) * 2021-07-30 2023-05-12 中国公路工程咨询集团有限公司 公路路面病害检测方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120076361A1 (en) * 2009-06-03 2012-03-29 Hironobu Fujiyoshi Object detection device
US20140139633A1 (en) * 2012-11-21 2014-05-22 Pelco, Inc. Method and System for Counting People Using Depth Sensor
KR101421962B1 (ko) * 2012-11-09 2014-07-23 (주)데이타비전 출입자의 영상을 이용한 출입 관리 장치 및 출입자 감시 방법
KR20160011523A (ko) * 2014-07-22 2016-02-01 주식회사 에스원 3차원 영상 정보를 이용한 이상 행동 감시 장치 및 방법
KR20160041441A (ko) * 2014-10-07 2016-04-18 주식회사 케이티 깊이 카메라 기반 사람 객체를 판별하는 방법 및 장치

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030018487A (ko) 2001-08-29 2003-03-06 주식회사 하나엘 영상을 이용한 출입 이동 물체 계수 방법 및 장치
JP5227888B2 (ja) * 2009-05-21 2013-07-03 富士フイルム株式会社 人物追跡方法、人物追跡装置および人物追跡プログラム
KR20110038983A (ko) 2009-10-09 2011-04-15 조용범 영상을 이용하여 승객의 승하차수를 카운트하는 방법 및 장치
US20140347479A1 (en) * 2011-11-13 2014-11-27 Dor Givon Methods, Systems, Apparatuses, Circuits and Associated Computer Executable Code for Video Based Subject Characterization, Categorization, Identification, Tracking, Monitoring and/or Presence Response
CN103279791B (zh) * 2013-05-30 2016-03-30 上海汇纳信息科技股份有限公司 基于多特征的行人计算方法
KR101454548B1 (ko) 2013-06-26 2014-10-27 주식회사 에스원 3차원 카메라를 이용한 감시 장치 및 이의 구동 방법
KR20150068709A (ko) 2013-12-12 2015-06-22 (주)샤인정보통신 무인방범 객체인식시스템
CN104410793B (zh) 2014-12-16 2018-08-10 联想(北京)有限公司 一种图像处理方法及电子设备
WO2016172856A1 (zh) 2015-04-28 2016-11-03 北京旷视科技有限公司 用于识别人脸的装置、***、方法和计算机程序产品

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120076361A1 (en) * 2009-06-03 2012-03-29 Hironobu Fujiyoshi Object detection device
KR101421962B1 (ko) * 2012-11-09 2014-07-23 (주)데이타비전 출입자의 영상을 이용한 출입 관리 장치 및 출입자 감시 방법
US20140139633A1 (en) * 2012-11-21 2014-05-22 Pelco, Inc. Method and System for Counting People Using Depth Sensor
KR20160011523A (ko) * 2014-07-22 2016-02-01 주식회사 에스원 3차원 영상 정보를 이용한 이상 행동 감시 장치 및 방법
KR20160041441A (ko) * 2014-10-07 2016-04-18 주식회사 케이티 깊이 카메라 기반 사람 객체를 판별하는 방법 및 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019088335A1 (ko) * 2017-11-06 2019-05-09 전자부품연구원 지능형 협업 서버, 시스템 및 이의 협업 기반 분석 방법

Also Published As

Publication number Publication date
US10853664B2 (en) 2020-12-01
CN109076190A (zh) 2018-12-21
CN109076190B (zh) 2021-03-02
KR101788269B1 (ko) 2017-10-19
US20190095720A1 (en) 2019-03-28

Similar Documents

Publication Publication Date Title
WO2017183769A1 (ko) 이상 상황을 감지하는 장치 및 방법
KR101593187B1 (ko) 3차원 영상 정보를 이용한 이상 행동 감시 장치 및 방법
CA2692424C (en) System and process for detecting, tracking and counting human objects of interest
US20110169917A1 (en) System And Process For Detecting, Tracking And Counting Human Objects of Interest
Sokolova et al. A fuzzy model for human fall detection in infrared video
US20190294890A1 (en) Method and apparatus for surveillance
KR20160144149A (ko) 다중 이동 물체의 겹침 제거 및 추적을 위한 영상 감시 장치 및 방법
JP6779410B2 (ja) 映像解析装置、映像解析方法、及びプログラム
KR20160035121A (ko) 깊이 영상정보에서 추출된 위치정보를 이용한 개체계수 방법 및 장치
Arsic et al. Applying multi layer homography for multi camera person tracking
Pramerdorfer et al. Fall detection based on depth-data in practice
Sanoj et al. Vision approach of human detection and tracking using focus tracing analysis
JP2011198244A (ja) 対象物認識システム及び該システムを利用する監視システム、見守りシステム
Hernández et al. People counting with re-identification using depth cameras
Kirchner et al. A robust people detection, tracking, and counting system
KR101355206B1 (ko) 영상분석을 이용한 출입 계수시스템 및 그 방법
Nizam et al. Development of human fall detection system using joint height, joint velocity, and joint position from depth maps
Yaghi et al. Real-time contact tracing during a pandemic using multi-camera video object tracking
Badgujar et al. A Survey on object detect, track and identify using video surveillance
Hung et al. Real-time counting people in crowded areas by using local empirical templates and density ratios
Mukhtar et al. RETRACTED: Gait Analysis of Pedestrians with the Aim of Detecting Disabled People
Sivarathinabala et al. Motion tracking of humans under occlusion using blobs
US20230206639A1 (en) Non-transitory computer-readable recording medium, information processing method, and information processing apparatus
US20230206641A1 (en) Storage medium, information processing method, and information processing apparatus
Shukla et al. Vision based approach to human fall detection

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16899538

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 16899538

Country of ref document: EP

Kind code of ref document: A1