KR102547265B1

KR102547265B1 - Real time occupant counting system and device therefor

Info

Publication number: KR102547265B1
Application number: KR1020210085051A
Authority: KR
Inventors: 김대근; 임재현
Original assignee: 단국대학교 산학협력단
Priority date: 2021-06-29
Filing date: 2021-06-29
Publication date: 2023-06-22
Also published as: KR20230001931A

Abstract

본 발명은 감지영역에 객체가 진입했는지 감지하는 객체 감지 단계와, 상기 감지된 객체의 영상을 복수 개 획득하는 영상 획득 단계와, 상기 획득된 복수 개의 영상으로부터 상기 객체가 사람인지 판별하는 사람 판별 단계 및 상기 감지영역에서 상기 판별된 사람의 출입을 계수하는 계수 단계를 포함하는 실시간 재실자 계수 시스템, 및 객체의 영상을 실시간으로 획득하는 카메라모듈과, 별도의 구조물에 고정되고 상기 카메라모듈과 연결되어 상기 카메라모듈을 상하로 이송하는 상하이송모듈 및 상기 카메라모듈과 상하이송모듈을 동시에 제어하는 제어부를 포함하고, 상기 제어부는, 상기 카메라모듈로부터 획득되는 복수 개의 영상으로 상기 객체가 사람인지 판별하고 재실자를 계수하는 것을 특징으로 하는 실시간 재실자 계수 장치를 제공하는데 그 목적이 있다.The present invention includes an object detection step of detecting whether an object has entered a detection area, an image acquisition step of obtaining a plurality of images of the sensed object, and a human determination step of determining whether the object is a person from the obtained plurality of images. And a real-time occupant counting system including a counting step of counting the entry and exit of the determined person in the detection area, and a camera module that acquires an image of an object in real time, fixed to a separate structure and connected to the camera module, A vertical transfer module that transfers the camera module vertically and a control unit that simultaneously controls the camera module and the vertical transfer module, wherein the controller determines whether the object is a person using a plurality of images obtained from the camera module and identifies the occupant. An object of the present invention is to provide a real-time occupant counting device characterized by counting occupants.

Description

실시간 재실자 계수 시스템 및 이를 위한 장치{REAL TIME OCCUPANT COUNTING SYSTEM AND DEVICE THEREFOR}Real-time occupant counting system and device therefor {REAL TIME OCCUPANT COUNTING SYSTEM AND DEVICE THEREFOR}

본 발명은 실시간 재실자 계수 시스템 및 이를 위한 장치에 관한 것으로, 보다 상세하게는 객체가 감지영역에 진입하는 것을 감지하면 서로 다른 높이에서 객체의 영상을 복수 개 획득하고, 획득한 영상으로부터 객체가 사람인지 판별한 후 판별된 사람의 출입을 계수하는 실시간 재실자 계수 시스템 및 객체가 감지영역에 진입하면 제어부가 카메라모듈을 상하로 빠르게 이송하도록 상하이송모듈을 제어하는 동시에 카메라모듈이 고점과 저점에서 객체의 영상을 획득하도록 제어하고, 획득한 복수 개의 영상에 대해 객체를 분석하여 사람인지 판별한 후 재실자를 계수하는 것이 가능한 실시간 재실자 계수 장치에 관한 것이다.The present invention relates to a real-time occupant counting system and an apparatus therefor, and more particularly, when detecting an object entering a detection area, a plurality of images of an object are obtained at different heights, and from the acquired images, whether the object is a person or not is determined. Real-time occupant counting system that counts the entry and exit of the identified person after identification and when the object enters the detection area, the control unit controls the vertical transfer module to quickly move the camera module up and down, and the camera module captures the image of the object at the high and low points The present invention relates to a real-time occupant counting device capable of controlling to obtain and counting occupants after determining whether an object is a person by analyzing a plurality of acquired images.

재실자 계수는 오래 전부터 현재까지도 활발히 연구되고 있는 분야이며, 이러한 연구에서는 하나 이상의 카메라를 이용하여 이미지를 획득하는 시스템을 통해 재실자의 수를 세고자 한다. 하지만 연산을 하기 위해 PC 급의 고성능 외부장치를 필요로 하는 한계가 있어, 최근 단일 보드 컴퓨터와 두 개의 카메라를 이용한 시스템을 통해 깊이 이미지를 획득한 후 재실자의 수를 세는 시스템이 제안되었다.Occupant counting is a field that has been actively researched from a long time ago, and in this study, the number of occupants is counted through a system that acquires images using one or more cameras. However, there is a limitation that requires a PC-class high-performance external device for calculation. Recently, a system using a single board computer and two cameras has been proposed to count the number of occupants after acquiring depth images.

종래의 기술은 하나 이상의 깊이 카메라를 포함하며, 하나 이상의 깊이 영상을 촬영하고 해당 영상에 대해 분석 대상 높이맵을 생성하여 객체 검출을 위한 하나 이상의 후보 영역을 결정하며 후보 영역에서 특징 정보를 추출함으로써 특징 정보에 기초하여 검출된 객체가 사람 객체인지 판정한다. 그러나 종래의 기술은 분석하는 영상의 양이 많고, 둘 이상의 깊이 카메라가 사용될 경우, 구성 비용이 증가하는 문제점이 있으며, 하나의 깊이 카메라가 사용될 경우, 오인식의 문제가 있었다. 또한, 특징 정보를 추출하는 방법이 복잡한 문제점도 있었다.The conventional technology includes one or more depth cameras, takes one or more depth images, generates a height map to be analyzed for the images, determines one or more candidate regions for object detection, and extracts feature information from the candidate regions. Based on the information, it is determined whether the detected object is a human object. However, the conventional technology has a problem in that the amount of images to be analyzed is large, configuration cost increases when two or more depth cameras are used, and there is a problem of misrecognition when one depth camera is used. In addition, there is also a problem in that a method of extracting feature information is complicated.

KR 10-2017-0007070 A (발명의 명칭: 방문객 출입 통계 분석 방법 및 장치, 공개일: 2017.01.18)KR 10-2017-0007070 A (Title of Invention: Method and Apparatus for Analyzing Visitor Access Statistics, Publication Date: 2017.01.18)

이에 본 발명은 상기와 같은 종래기술의 문제점을 해결하기 위한 것으로, 객체가 감지영역에 진입하면 카메라모듈이 상하로 이송되며 고점과 저점에서 객체의 영상을 획득하므로, 데이터 처리 용량이 적고 속도가 빠르며 하나의 카메라를 사용하여 비용이 절감됨과 동시에, 획득한 복수 개의 이미지에 대해 객체의 개수 및 높이를 도출함으로써 가치 있는 데이터를 선별하고 분석하므로 방법이 간단하고 정확도가 높은 실시간 재실자 계수 시스템 및 이를 위한 장치를 제공하는데 그 목적이 있다.Accordingly, the present invention is to solve the problems of the prior art as described above. When an object enters the sensing area, the camera module is moved up and down and images of the object are acquired at the high and low points, so the data processing capacity is small and the speed is fast. A real-time occupant counting system with a simple method and high accuracy because it reduces costs by using one camera and at the same time selects and analyzes valuable data by deriving the number and height of objects for a plurality of acquired images, and a device therefor Its purpose is to provide

본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The tasks of the present invention are not limited to the tasks mentioned above, and other tasks not mentioned will be clearly understood by those skilled in the art from the description below.

상술한 과제를 해결하기 위하여, 본 발명에 따른 실시간 재실자 계수 시스템은, 감지영역에 객체가 진입했는지 감지하는 객체 감지 단계와, 상기 감지된 객체의 영상을 복수 개 획득하는 영상 획득 단계와, 상기 획득된 복수 개의 영상으로부터 상기 객체가 사람인지 판별하는 사람 판별 단계 및 상기 감지영역에서 상기 판별된 사람의 출입을 계수하는 계수 단계를 포함할 수 있다.In order to solve the above problems, the real-time occupant counting system according to the present invention includes an object detection step of detecting whether an object has entered a detection area, an image acquisition step of acquiring a plurality of images of the sensed object, and the acquisition It may include a person determination step of determining whether the object is a person from a plurality of images obtained and a counting step of counting the entry and exit of the determined person in the sensing area.

또한, 상기 계수 단계는, 상기 감지영역에 구비되는 복수 개의 감지선에 대해 상기 객체의 이동 양상을 감지하여 재실자를 계수할 수 있다.Also, in the counting step, occupants may be counted by detecting a movement pattern of the object with respect to a plurality of detection lines provided in the detection area.

상술한 과제를 해결하기 위하여, 본 발명에 따른 실시간 재실자 계수 장치는, 객체의 영상을 실시간으로 획득하는 카메라모듈과, 별도의 구조물에 고정되고, 상기 카메라모듈과 연결되어 상기 카메라모듈을 상하로 이송하는 상하이송모듈 및 상기 카메라모듈과 상하이송모듈을 동시에 제어하는 제어부를 포함할 수 있다.In order to solve the above problems, the real-time occupant counting device according to the present invention is fixed to a camera module that acquires an image of an object in real time, a separate structure, and is connected to the camera module to transfer the camera module up and down. It may include a vertical transfer module and a control unit that simultaneously controls the camera module and the vertical transfer module.

또한, 상기 상하이송모듈은, 상기 카메라모듈과 연결되는 봉 형태의 샤프트가 구비된 리니어 모터를 포함할 수 있다.In addition, the vertical transfer module may include a linear motor having a rod-shaped shaft connected to the camera module.

또한, 상기 상하이송모듈은, 상기 카메라모듈과 연결되며 축을 따라 톱니가 형성된 기어레일 및 상기 기어레일과 맞물리는 기어가 구비된 기어모터를 포함하여, 상기 기어가 회전함으로써 상기 기어레일에 연결된 상기 카메라모듈이 상하로 이송될 수 있다.In addition, the vertical transfer module includes a gear rail connected to the camera module and having teeth formed along an axis and a gear motor having a gear meshing with the gear rail, and the camera connected to the gear rail by rotating the gear. Modules can be transported up and down.

본 발명의 실시간 재실자 계수 시스템 및 이를 위한 장치에 따르면 다음과 같은 효과가 하나 혹은 그 이상 있다.According to the real-time occupant counting system and apparatus therefor according to the present invention, one or more of the following effects are provided.

첫째, 객체가 감지 영역에 진입하면 객체의 영상이 획득되므로 데이터 용량이 적고 영상 처리 속도가 빠른 이점이 있다.First, since an image of the object is obtained when the object enters the detection area, the data capacity is small and the image processing speed is fast.

둘째, 복수 개의 감지선에 대해 객체가 이동하는 양상을 상기 감지선을 통과하는 순서에 의해 추적하므로 입실자 및 퇴실자 뿐만 아니라 우회자 또한 파악할 수 있다.Second, since the movement of an object along a plurality of detection lines is tracked according to the order in which the objects pass through the detection lines, it is possible to identify people entering and exiting the room as well as detours.

셋째, 카메라모듈로부터 획득된 복수 개의 영상을 이용해 재실자를 계수하므로 카메라모듈이 하나만 구비되어도 되기 때문에 비용이 절감될 수 있다.Third, since occupants are counted using a plurality of images obtained from the camera module, cost can be reduced because only one camera module is required.

넷째, 봉 형태의 샤프트가 구비된 리니어 모터를 사용하여 간단한 방법으로 카메라모듈을 이송할 수 있다.Fourth, the camera module can be transported in a simple way using a linear motor equipped with a rod-shaped shaft.

다섯째, 기어레일 및 기어모터를 통해 카메라모듈을 이송하여 영상 획득 위치 정확도와 이송 속도가 높아질 수 있다.Fifth, by transferring the camera module through a gear rail and a gear motor, image acquisition positional accuracy and transfer speed can be increased.

도 1은 본 발명의 일 실시예에 따른 실시간 재실자 계수 시스템의 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 객체 추적 및 계수 방법을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 객체의 영상 획득 단계를 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 획득된 객체의 영상의 예시를 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 사람 판별 방법을 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 객체의 영상 전처리 단계에서 객체가 없는 경우의 예시를 나타내는 도면이다.
도 7은 본 발명의 일 실시예에 따른 객체의 영상 전처리 단계에서 객체가 있는 경우의 예시를 나타내는 도면이다.
도 8은 본 발명의 일 실시예에 따른 인공지능을 기반으로 객체의 사람 판별의 예시를 나타내는 도면이다.
도 9는 본 발명의 일 실시예에 따른 실시간 재실자 계수 장치를 도시한 도면이다.
도 10은 본 발명의 일 실시예에 따른 실시간 재실자 계수 장치의 작동을 나타내는 도면이다.1 is a flowchart of a real-time occupant counting system according to an embodiment of the present invention.
2 is a diagram for explaining an object tracking and counting method according to an embodiment of the present invention.
3 is a diagram illustrating a step of acquiring an image of an object according to an embodiment of the present invention.
4 is a diagram showing an example of an image of an acquired object according to an embodiment of the present invention.
5 is a diagram illustrating a method for determining a person according to an embodiment of the present invention.
6 is a diagram illustrating an example of a case in which there is no object in an image preprocessing step of an object according to an embodiment of the present invention.
7 is a diagram illustrating an example of a case where there is an object in the image preprocessing step of the object according to an embodiment of the present invention.
8 is a diagram illustrating an example of determining a person of an object based on artificial intelligence according to an embodiment of the present invention.
9 is a diagram illustrating a real-time occupant counting device according to an embodiment of the present invention.
10 is a diagram illustrating the operation of the real-time occupant counting device according to an embodiment of the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.Advantages and features of the present invention, and methods of achieving them, will become clear with reference to the detailed description of the following embodiments taken in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various different forms, and only these embodiments make the disclosure of the present invention complete, and common knowledge in the art to which the present invention belongs. It is provided to completely inform the person who has the scope of the invention, and the present invention is only defined by the scope of the claims. Like reference numbers designate like elements throughout the specification.

본 명세서에 첨부된 도면에 도시된 구성요소의 크기나 형상 등은 설명의 명료성과 편의성을 위하여 과장되게 도시될 수 있다. 각 도면에서 동일한 구성은 동일한 참조부호로 도시한 경우가 있음을 유의하여야 한다. 또한, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 공지 기술의 기능 및 구성에 관한 상세한 설명은 생략될 수 있다.The size or shape of components shown in the drawings accompanying this specification may be exaggerated for clarity and convenience of description. It should be noted that in each drawing, the same configuration may be indicated by the same reference numerals. In addition, detailed descriptions of functions and configurations of known technologies that may unnecessarily obscure the subject matter of the present invention may be omitted.

본 명세서에서 사용된 용어는 특정 실시예를 설명하기 위하여 사용되며, 본 발명을 제한하기 위한 것이 아니다. 본 명세서에서 사용된 바와 같이 단수 형태는 문맥상 다른 경우를 분명히 지적하는 것이 아니라면, 복수의 형태를 포함할 수 있다. 또한, 본 명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Terms used in this specification are used to describe specific embodiments and are not intended to limit the present invention. As used herein, the singular form may include the plural form unless the context clearly indicates otherwise. In addition, when a certain part "includes" a certain component throughout this specification, it means that it may further include other components unless otherwise stated.

어떠한 구성 요소가 다른 구성 요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떠한 구성 요소가 다른 구성요소에 “직접 연결되어” 있다거나 또는 “직접 접속되어” 있다고 언급된 때에는, 중간에 다른 구성 요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성 요소들 간의 관계를 설명하기 위한 다른 표현들도 마찬가지로 해석되어야 한다.It is understood that when a component is referred to as “connected” or “connected” to another component, it may be directly connected or connected to the other component, but other components may exist in the middle. It should be. On the other hand, when a component is referred to as “directly connected” or “directly connected” to another component, it should be understood that no other component exists in the middle. Other expressions used to describe the relationship between components should be similarly interpreted.

본 명세서에서 사용되는 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.All terms including technical or scientific terms used in this specification have the same meaning as commonly understood by one of ordinary skill in the art to which the present invention belongs unless otherwise defined. Terms such as those defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the related art, and unless explicitly defined in this specification, it should not be interpreted in an ideal or excessively formal meaning. don't

본 명세서에서 사용되는 상단, 하단, 상면, 저면 또는 상부, 하부 등의 용어는 구성 요소들에 있어서 상대적인 위치를 구별하기 위해 사용되는 것이다. 도면상의 위쪽을 상부, 도면상의 아래쪽을 하부로 명명하나 이는 편의상 구성 요소들의 상대적인 위치를 구별하기 위해 사용되는 것일 뿐 실제에 있어서는 본 발명의 권리 범위를 벗어나지 않으면서 상부는 하부로 명명될 수 있고, 하부는 상부로 명명될 수 있다.Terms such as top, bottom, top, bottom or top, bottom used in this specification are used to distinguish the relative positions of components. The upper part in the drawing is called the upper part, and the lower part in the drawing is called the lower part, but this is only used to distinguish the relative positions of the components for convenience. In practice, the upper part can be called the lower part without departing from the scope of the present invention, The lower part may be termed the upper part.

이하, 본 발명의 실시예들에 의한 실시간 재실자 계수 시스템 및 이를 위한 장치를 설명하기 위하여 도면들을 참고하여 본 발명에 대해 설명하도록 한다.Hereinafter, the present invention will be described with reference to the drawings in order to explain a real-time occupant counting system and an apparatus therefor according to embodiments of the present invention.

도 1은 본 발명의 일 실시예에 따른 실시간 재실자 계수 시스템의 흐름도이다.1 is a flowchart of a real-time occupant counting system according to an embodiment of the present invention.

도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 실시간 재실자 계수 시스템은 감지영역으로 진입하는 객체를 감지하는 객체 감지 단계(S100), 제1 높이에서 상기 객체의 제1 영상을 획득하는 제1 영상 획득 단계(S200), 제2 높이에서 상기 객체의 제2 영상을 획득하는 제2 영상 획득 단계(S300), 상기 제1 영상 및 제2 영상으로부터 상기 객체가 사람인지 판별하는 사람 판별 단계(S400) 및 상기 판별된 사람의 출입을 계수하는 계수 단계(S500)를 포함할 수 있다.As shown in FIG. 1, the real-time occupant counting system according to an embodiment of the present invention includes an object detection step (S100) of detecting an object entering a detection area, and obtaining a first image of the object at a first height. A first image acquisition step (S200), a second image acquisition step (S300) of obtaining a second image of the object at a second height, a person determination step of determining whether the object is a person from the first image and the second image (S400) and a counting step (S500) of counting the entry and exit of the determined person.

객체 감지 단계(S100)는 감지영역에 객체가 진입하는 것을 감지할 수 있다. 영상 내에서 특정 영역을 설정하여 상기 감지영역을 결정할 수 있으며, 영상 분석을 통해 상기 객체가 상기 특정 영역에 진입하는 것을 감지할 수 있다.In the object detection step (S100), it is possible to detect an object entering the detection area. The detection area may be determined by setting a specific area within the image, and the object entering the specific area may be detected through image analysis.

한 실시예로, 영상 내에 복수 개의 평행한 감지 기준선을 설정하고, 상기 복수 개의 감지 기준선 내부의 영역을 상기 감지영역으로 결정할 수 있다.As an embodiment, a plurality of parallel detection reference lines may be set in an image, and an area within the plurality of detection reference lines may be determined as the detection area.

제1 영상 획득 단계(S200)는 특정 높이에서 상기 객체의 영상을 획득하는 단계로, 상기 특정 높이를 제1 높이라고 하고, 이 때 획득되는 상기 객체의 영상을 제1 영상이라 한다.The first image acquisition step (S200) is a step of obtaining an image of the object at a specific height, the specific height is referred to as a first height, and the image of the object obtained at this time is referred to as a first image.

제2 영상 획득 단계(S300)는 상기 제1 높이와 다른 특정 높이에서 상기 객체의 영상을 획득하는 단계로, 상기 제1 높이와 다른 특정 높이를 제2 높이라고 하고, 이 때 획득되는 상기 객체의 영상을 제2 영상이라 한다.The second image acquisition step (S300) is a step of acquiring an image of the object at a specific height different from the first height, and the specific height different from the first height is referred to as a second height, and The image is referred to as a second image.

상기 제1 영상 및 제2 영상은 짧은 영상 내에서 획득될 수 있으며, 상기 객체의 영상은 적어도 2회 이상 획득될 수 있다. 또한, 상기 객체의 영상을 획득하는 구도는 모두 같을 수 있고, 상기 객체의 상부에서 상기 객체의 영상을 획득하는 것이 바람직하나, 이로 한정되는 것은 아니다.The first image and the second image may be acquired within a short image, and the image of the object may be acquired at least twice. In addition, the composition for acquiring the image of the object may be all the same, and it is preferable to acquire the image of the object from above the object, but is not limited thereto.

사람 판별 단계(S400)는 상기 제1 영상 및 제2 영상으로부터 상기 객체가 사람인지 판별하는 단계로, 상기 제1 영상 및 제2 영상에서 상기 객체의 높이를 산출하여 상기 객체가 사람인지 판별하거나, 인공지능을 기반으로 상기 객체가 사람인지 판별할 수 있으며, 정확도를 높이기 위해 두 가지 방법이 모두 사용될 수 있다.The human determination step (S400) is a step of determining whether the object is a human from the first image and the second image, and determining whether the object is a human by calculating the height of the object in the first image and the second image, It is possible to determine whether the object is a human based on artificial intelligence, and both methods can be used to increase accuracy.

상기 객체 감지 단계(S100)에서 상기 객체가 감지되었을 때 획득된 상기 복수 개의 영상으로부터 상기 객체가 사람인지 판별하므로 연산 속도가 빠를 수 있다.Since it is determined whether the object is a person from the plurality of images obtained when the object is detected in the object detection step ( S100 ), the operation speed may be fast.

계수 단계(S500)는 상기 객체가 사람으로 판별되었을 때, 상기 판별된 사람의 출입을 판단하고 계수하는 단계로, 상기 감지영역에서 상기 판별된 사람이 나타내는 이동 양상에 따라 재실자 및 퇴실자가 계수될 수 있다.In the counting step (S500), when the object is determined to be a person, the entry and exit of the determined person is determined and counted. In the detection area, the number of occupants and exits may be counted according to the moving pattern of the determined person. there is.

이 때, 상기 판별된 사람의 이동 양상은 입실, 퇴실 및 우회를 포함할 수 있다.At this time, the movement pattern of the determined person may include entrance, exit, and detour.

도 2 내지 도 8을 참조하여 본 발명의 일 실시예에 따른 실시간 재실자 계수 시스템을 더 자세히 설명한다.A real-time occupant counting system according to an embodiment of the present invention will be described in more detail with reference to FIGS. 2 to 8 .

도 2는 본 발명의 일 실시예에 따른 객체 추적 및 계수 방법을 설명하기 위한 도면이다. 도면 상의 상부를 건물 또는 어느 장소의 외부, 도면 상의 하부를 상기 건물 또는 어느 장소의 내부로 한다.2 is a diagram for explaining an object tracking and counting method according to an embodiment of the present invention. The upper part of the drawing is the exterior of a building or a certain place, and the lower part of the drawing is the inside of the building or a certain place.

도 2에 도시된 바와 같이, 한 실시예로, 영상(200)에서 서로 평행한 제1 감지영역 기준선(210)과 제2 감지영역 기준선(220)을 설정할 수 있고, 상기 제1 감지영역 기준선(210) 및 제2 감지영역 기준선(220)의 내부영역을 도 1에서 상술한 감지영역으로 결정할 수 있으며, 객체가 상기 제1 감지영역 기준선(210) 또는 제2 감지영역 기준선(220)을 통과해 상기 감지영역에 진입하는 것이 영상분석을 통해 감지될 수 있다.As shown in FIG. 2, in one embodiment, a first sensing area reference line 210 and a second sensing area reference line 220 that are parallel to each other may be set in the image 200, and the first sensing area reference line ( 210) and the inner area of the second sensing area reference line 220 may be determined as the sensing area described above in FIG. Entering the detection area may be detected through image analysis.

상기 객체가 도 1에서 상술한 사람 판별 단계(S400)에서 사람으로 판별될 경우, 상기 감지영역에서 상기 객체가 이동하는 양상에 따라 상기 객체가 계수될 수 있다.When the object is determined to be a person in the above-described person determination step (S400) of FIG. 1, the object may be counted according to the moving aspect of the object in the detection area.

한 실시예로, 상기 영상(200)에서 상기 감지영역에 서로 평행한 제1 감지선(230) 및 제2 감지선(240)을 설정하여, 상기 사람으로 판별된 객체가 상기 제1 감지선(230) 및 제2 감지선(240)을 통과하는 순서에 따라 재실자가 계수될 수 있다.In one embodiment, by setting a first detection line 230 and a second detection line 240 parallel to each other in the detection area in the image 200, the object determined to be a person is the first detection line ( 230) and the second detection line 240 may be counted according to the order of passing.

도 2의 (a)와 같이, 상기 객체가 화살표가 나타내는 퇴실경로(250)에 따라 건물 또는 어느 장소의 내부에서 외부로 이동할 경우, 상기 객체는 상기 영상(200)에서 상기 제2 감지선(240)을 먼저 지난 후 상기 제1 감지선(230)을 지나는 양상을 나타내며, 이 때 상기 객체는 퇴실자로 계수될 수 있다.As shown in (a) of FIG. 2 , when the object moves from the inside of a building or a place to the outside along the exit path 250 indicated by the arrow, the object moves from the inside to the outside of the second detection line 240 in the image 200 . ) first and then passing the first detection line 230, at which time the object may be counted as a person leaving the room.

반대로 도 2의 (b)와 같이, 상기 객체가 화살표가 나타내는 입실경로(260)에 따라 상기 건물 또는 어느 장소의 외부에서 내부로 이동할 경우, 상기 객체는 상기 영상(200)에서 상기 제1 감지선(230)을 먼저 지난 후 상기 제2 감지선(240)을 지나는 양상을 나타내며, 이 때 상기 객체는 재실자 또는 입실자로 계수될 수 있다.Conversely, as shown in (b) of FIG. 2 , when the object moves from the outside to the inside of the building or any place along the entrance path 260 indicated by the arrow, the object moves along the first detection line in the image 200. 230 first and then passing the second detection line 240, and at this time, the object may be counted as a person in the room or a person entering the room.

상기 퇴실자 또는 재실자를 계수하는 방법의 한 예로, 상기 객체가 퇴실자일 경우 서버에 기저장되어 있는 재실자의 수에서 상기 객체의 수를 빼고, 상기 객체가 재실자 또는 입실자일 경우 서버에 기저장되어 있는 재실자의 수에서 상기 객체의 수를 더해 실시간으로 재실자 수가 업데이트될 수 있다.As an example of a method of counting the number of people leaving or entering the room, if the object is a person leaving the room, the number of the object is subtracted from the number of occupants previously stored in the server, and if the object is a person leaving the room or a person entering the room, The number of occupants may be updated in real time by adding the number of objects to the number of occupants.

도 2의 (c)와 같이, 상기 객체가 화살표가 나타내는 내부우회경로(280)와 같이 상기 영상(200)에서 제2 감지선(240)을 지난 후 다시 제2 감지선(240)을 지나는 것으로 감지될 경우 상기 객체는 내부 우회자로 분류되어 계수에 반영되지 않을 수 있다.As shown in (c) of FIG. 2, the object passes through the second detection line 240 again after passing through the second detection line 240 in the image 200 like the internal detour path 280 indicated by the arrow. If detected, the object may be classified as an internal detour and may not be reflected in the count.

마찬가지로 도 2의 (d)와 같이, 상기 객체가 화살표가 나타내는 외부우회경로(270)를 따라 상기 영상(200)에서 제1 감지선(230)을 지난 후 다시 제1 감지선(230)을 지나는 것으로 감지될 경우 상기 객체는 외부 우회자로 분류되어 계수에 반영되지 않을 수 있다.Similarly, as shown in (d) of FIG. 2, the object passes the first detection line 230 in the image 200 along the external detour path 270 indicated by the arrow and then passes the first detection line 230 again. If detected as such, the object may be classified as an external detour and may not be reflected in the count.

여기서 상기 객체가 상기 제1 감지영역 기준선(210) 또는 제2 감지영역 기준선(220)에 감지되었으나 상기 제1 감지선(230) 또는 제2 감지선(240)에 감지되지 않고 상기 객체가 감지되었던 상기 감지영역 기준선에 다시 감지될 경우에도 상기 객체는 우회자로 분류되어 계수에 반영되지 않을 수 있다.Here, the object is detected on the first sensing area reference line 210 or the second sensing area reference line 220 but is not detected on the first sensing line 230 or the second sensing line 240 and the object is detected. Even when detected again at the detection area reference line, the object may be classified as a detour and may not be reflected in the count.

또한, 상기 영상(200)에서 동시에 복수 개의 객체가 인식되면, 상기 객체의 이동 양상에 대한 감지 또는 분석은 각각의 상기 복수 개의 객체에 대해 개별적으로 동시에 수행될 수 있다.In addition, when a plurality of objects are recognized at the same time in the image 200, detection or analysis of a movement pattern of the objects may be individually and simultaneously performed for each of the plurality of objects.

도 3은 본 발명의 일 실시예에 따른 객체의 제1 영상 획득 단계(S200) 및 제2 영상 획득 단계(S300)를 설명하기 위한 도면이고 도 4는 상기 획득된 영상(200a, 200b)의 예시를 나타내는 도면이다.3 is a diagram for explaining the first image acquisition step (S200) and the second image acquisition step (S300) of an object according to an embodiment of the present invention, and FIG. 4 is an example of the acquired images 200a and 200b. is a drawing representing

도 3에 도시된 바와 같이, 지면(400)과 수직한 방향으로 객체(100)의 상부에서 상기 객체(100)의 영상이 획득될 수 있으며, 서로 다른 높이에서 2회 이상 상기 객체(100)의 영상이 획득될 수 있다.As shown in FIG. 3, an image of the object 100 may be acquired from an upper portion of the object 100 in a direction perpendicular to the ground 400, and the image of the object 100 more than once at different heights. An image can be acquired.

도 3의 (a)는 상기 객체(100)의 제1 영상을 획득하는 제1 높이의 한 예로, 비교적 낮은 높이에서 상기 객체(100)의 제1 영상을 획득하는 것이고, 도 3의 (b)는 상기 객체(100)의 제2 영상을 획득하는 제2 높이의 한 예로, 비교적 높은 높이에서 상기 객체(100)의 제2 영상을 획득하는 것을 도시한 것이다.(a) of FIG. 3 is an example of a first height for obtaining a first image of the object 100, in which the first image of the object 100 is obtained at a relatively low height, and (b) of FIG. is an example of a second height for acquiring the second image of the object 100, and shows acquiring the second image of the object 100 at a relatively high height.

이 때, 상기 객체(100)는 도면 상의 좌측에서 우측으로 이동하고 있으며, 상기 획득된 복수 개의 영상들에는 모두 상기 객체(100)가 포함되어야 한다. 따라서, 도 3의 (a) 및 (b)와 같이 상기 객체(100)가 영상 획득 장치의 시야범위(FOV)(310) 안에 위치해 있을 때 상기 제1 높이 및 제2 높이에서의 상기 객체(100)의 영상 획득이 모두 완료될 수 있도록 상기 영상이 고속으로 획득될 수 있다.At this time, the object 100 is moving from left to right on the drawing, and the object 100 must be included in all of the acquired plurality of images. Therefore, as shown in (a) and (b) of FIG. 3 , when the object 100 is located within the field of view (FOV) 310 of the image acquisition device, the object 100 at the first height and the second height ) The image can be acquired at high speed so that all image acquisition can be completed.

도 4에 도시된 바와 같이, 상술한 도 3의 (a)에서 획득된 상기 제1 영상은 도 4의 (a)일 수 있고, 도 3의 (b)에서 획득된 상기 제2 영상은 도 4의 (b)일 수 있다. 이 때, 상술한 도 3의 비교적 낮은 상기 제1 높이에서 획득된 상기 제1 영상에서의 객체(100)는 비교적 크고, 비교적 높은 상기 제2 높이에서 획득된 상기 제2 영상에서의 객체(100)는 비교적 작을 수 있다.As shown in FIG. 4, the first image obtained in (a) of FIG. 3 may be (a) of FIG. 4, and the second image obtained in (b) of FIG. of (b). At this time, the object 100 in the first image acquired at the relatively low first height of FIG. 3 is relatively large, and the object 100 in the second image acquired at the relatively high second height can be relatively small.

도 4의 (a) 및 (b)의 영상(200a, 200b)에서 상기 객체(100)는 상기 영상(200a, 200b) 내에서 다른 위치에 나타날 수 있다. 이 때, 상기 객체(100)는 객체특징부(110, 110')에 의해 인식될 수 있고, 상기 객체특징부(110, 110')는 상기 객체(100)의 머리를 기준으로 추출될 수 있으나, 이로 한정되는 것은 아니며, 또다른 예로 상기 객체특징부(110, 110')는 상기 객체(100)의 어깨 및 머리를 기준으로 추출될 수 있다. 상기 객체특징부(110, 110')는 상기 획득된 영상(200a, 200b)의 내부에 위치한다.In the images 200a and 200b of (a) and (b) of FIG. 4 , the object 100 may appear in different positions within the images 200a and 200b. At this time, the object 100 may be recognized by the object feature units 110 and 110', and the object feature units 110 and 110' may be extracted based on the head of the object 100. , but is not limited thereto, and as another example, the object feature units 110 and 110' may be extracted based on the shoulder and head of the object 100. The object feature units 110 and 110' are located inside the obtained images 200a and 200b.

또한, 상기 객체(100)에 대한 분석을 하기 위해 객체특징부(110, 110')를 기준으로 상기 객체(100)의 이동 양상이 분석될 수 있으며, 후술할 사람 판별 방법(S400)에서 상기 객체(100)가 사람인지를 판별할 때 상기 객체특징부(110, 110')가 이용될 수 있다.In addition, in order to analyze the object 100, the moving aspect of the object 100 may be analyzed based on the object feature units 110 and 110', and in a person determination method (S400) to be described later, the object When determining whether 100 is a person, the object feature units 110 and 110' may be used.

한 실시예로, 상기 제1 영상(200a) 및 제2 영상(200b)에서 각각의 영상이 획득된 높이의 차와 상기 제1 영상(200a) 및 제2 영상(200b)에서의 상기 객체(100)의 객체특징부(110, 110')의 크기 비를 이용해 상기 객체(100)의 높이가 계산될 수 있고, 상기 객체(100)의 크기 및 높이가 특정 범위 안에 포함될 경우, 상기 객체(100)는 사람 데이터로 분류될 수 있다. 여기서 상기 특정 범위는 상기 객체특징부(110, 110')의 크기의 경우, 사람의 머리 크기 또는 어깨 너비의 평균을 기준으로 정해질 수 있고, 상기 객체(100) 높이의 경우 사람의 평균 신장을 기준으로 정해질 수 있다.In one embodiment, the difference between the obtained heights of the respective images in the first image 200a and the second image 200b and the object 100 in the first image 200a and the second image 200b ) The height of the object 100 can be calculated using the size ratio of the object feature parts 110 and 110', and when the size and height of the object 100 are included within a specific range, the object 100 can be classified as human data. Here, the specific range may be determined based on the average head size or shoulder width of a person in the case of the size of the object feature units 110 and 110', and in the case of the height of the object 100, the average height of the person can be determined on the basis of

도 5를 참조하여 상술한 객체특징부(도 4의 110, 110')를 이용하여 상기 객체(100)의 높이를 계산하는 방법을 설명한다.Referring to FIG. 5 , a method of calculating the height of the object 100 using the above-described object feature units ( 110 and 110 ′ in FIG. 4 ) will be described.

도 5는 본 발명의 일 실시예에 따른 사람 판별 방법을 도시한 도면이다.5 is a diagram illustrating a method for determining a person according to an embodiment of the present invention.

도 5의 (a)는 영상 획득 높이의 평균 H2(300)와 객체의 높이 H(500) 및 영상 획득 높이의 평균과 객체 높이의 차

(600)를 나타내고, 도 5의 (b)는 제1 영상 획득 높이(300a)와 객체 높이의 차

(610)를 나타내고, 도 5의 (c)는 제2 영상 획득 높이(300b)와 객체 높이의 차

(620)를 나타낸다.(a) of FIG. 5 shows the difference between the average image acquisition height H2 (300) and the object height H (500) and the average image acquisition height and object height.

600, and (b) of FIG. 5 is the difference between the first image acquisition height 300a and the object height.

610, and (c) of FIG. 5 is the difference between the second image acquisition height 300b and the object height.

(620).

상기

는 상기 영상 획득 위치의 변위를 나타낼 수 있고,

,

는 영상 획득 장치의 작동 거리를 의미할 수 있다. 특정 작동 거리에서 상기 영상 획득 위치의 이동에 의해 획득된 영상에서의 상기 객체(100)의 크기 비 R은 아래와 같이 정의될 수 있고,remind

May represent the displacement of the image acquisition position,

,

May mean the working distance of the image capture device. The size ratio R of the object 100 in the image obtained by moving the image acquisition position at a specific working distance can be defined as follows,

상기 객체의 크기 비 R은 도 5의 (b) 및 (c)에서 획득된 상기 객체(100)의 상기 제1 영상 및 제2 영상에서 상기 객체특징부(도 4의 110, 110')를 비교하여 얻을 수 있다.The size ratio R of the object compares the object feature units (110 and 110' in FIG. 4) in the first and second images of the object 100 obtained in (b) and (c) of FIG. can be obtained by

상기 객체(100)의 크기 비 R의 수학식을

에 대해 정리하면 아래와 같고,The equation of the size ratio R of the object 100

To summarize, it is as follows,

따라서 상기 객체의 높이 H(500)는 아래와 같이 정의될 수 있으며,Therefore, the height H (500) of the object can be defined as follows,

상기 객체의 높이 H(500)와 상기 객체특징부(도 4의 110, 110')의 크기가 특정 범위 안에 포함되면 상기 객체(100)가 사람으로 분류될 수 있다.If the height H (500) of the object and the size of the object feature parts (110, 110' in FIG. 4) are within a specific range, the object 100 may be classified as a person.

상기 객체의 높이 H(500)에 의해 상기 객체(100)가 사람으로 분류되는 상기 특정 범위에 대한 예시로, 질병관리본부에서 발표한 연령별 백분위 신장 도표를 참고할 수 있다. 사람이 생후 9개월에서 12개월 사이에 걸음마를 시작할 수 있다고 간주할 때, 하위 3%에 해당하는 생후 9개월의 신장은 65.6cm이고, 성인 상위 3%에 해당하는 신장은 184.3cm이므로, 특정 범위는 65.6cm 에서 184.3cm가 될 수 있으나, 오차를 감안해 특정 높이만큼 기준을 늘리거나 줄일 수 있다. 이는 하나의 예시일 뿐, 이로 한정되는 것은 아니다.As an example of the specific range in which the object 100 is classified as a person by the height H (500) of the object, reference may be made to a percentile height chart by age announced by the Korea Centers for Disease Control and Prevention. When considering that a person can start walking between 9 and 12 months of age, the height at 9 months of age in the bottom 3% is 65.6 cm, and the height in the top 3% of adults is 184.3 cm, so a certain range can be from 65.6 cm to 184.3 cm, but the standard can be increased or decreased by a specific height in consideration of errors. This is just one example, and is not limited thereto.

상기 객체특징부(도 4의 110, 110')인 상기 객체(100)의 머리 크기 또는 어깨 넓이 또한 상기와 같은 방법에 의해 기준이 정해질 수 있다.The head size or shoulder width of the object 100, which is the object feature unit (110, 110' in FIG. 4), may also be determined by the same method as above.

상기와 같이 상기 객체(100)가 사람인지 판별한 후, 후술할 인공지능을 이용하여 사람을 판별하는 단계를 추가하여 상기 객체(100)가 사람임에 대한 신뢰도를 높일 수 있다.As described above, after determining whether the object 100 is a human, a step of determining the human using artificial intelligence, which will be described later, may be added to increase reliability that the object 100 is a human.

도 6과 도 7을 참조하여 상술한 사람으로 판별된 객체(100)에 대해 인공지능을 이용하여 더 정확한 사람 판별을 하는 방법을 설명한다. 이 때, 인공지능을 이용하여 사람 판별을 하는 방법을 2차 사람 판별이라 할 수 있으며, 사람 판별 단계(S400)에서 상기 2차 사람 판별은 생략될 수 있다.Referring to FIGS. 6 and 7 , a method of more accurately identifying a person using artificial intelligence for the object 100 determined to be a person described above will be described. At this time, the method of determining a person using artificial intelligence may be referred to as secondary person determination, and the secondary person determination may be omitted in the person determination step (S400).

도 6은 본 발명의 일 실시예에 따른 객체의 영상 전처리 단계에서 객체가 없는 경우의 예시를 나타내는 도면이고, 도 7은 본 발명의 일 실시예에 따른 객체의 영상 전처리 단계에서 객체가 있는 경우의 예시를 나타내는 도면이다.6 is a diagram illustrating an example of a case in which there is no object in the image pre-processing step of an object according to an embodiment of the present invention, and FIG. It is a drawing showing an example.

사람 판별 단계(S400)에서는 상기 객체의 높이를 이용해 상기 객체가 사람임을 판별한 후, 상술한 제1 영상 획득 단계(S200) 및 제2 영상 획득 단계(S300)에서 획득한 영상이 전처리되고, 딥러닝 모델의 트레이닝(Training)을 위해 상기 영상에 라벨링이 구현될 수 있다.In the human determination step (S400), after determining that the object is a human using the height of the object, the image obtained in the above-described first image acquisition step (S200) and second image acquisition step (S300) is pre-processed, and deep Labeling may be implemented in the image for training of the learning model.

도 6에 도시된 바와 같이, 상기 전처리 단계는 오리지널 영상(Original Video)에 그레이스케일(Gray scale), 노이즈 필터(Noise filter), 엣지 검출(edge detection)을 순차적으로 수행하고 마스크 이미지(Mask Image)를 획득하는 것이 포함될 수 있다. 상기 그레이스케일 과정에서 상기 오리지널 영상을 그레이스케일 영상으로 변환하고, 상기 그레이스케일 영상을 노이즈 필터링한 후 엣지를 검출할 수 있다. 또한, 상기 마스크 이미지에 라벨링(Labeling)을 구현해 객체가 인식될 수 있으며, 객체가 없을 경우 마스크 이미지 또는 라벨링 단계에서 객체 인식이 일어나지 않을 수 있다.As shown in FIG. 6, in the preprocessing step, gray scale, noise filter, and edge detection are sequentially performed on the original video, and a mask image is generated. It may include obtaining. In the grayscale process, the original image may be converted into a grayscale image, and an edge may be detected after noise filtering of the grayscale image. In addition, an object may be recognized by implementing labeling in the mask image, and if there is no object, object recognition may not occur in the mask image or labeling step.

도 7에 도시된 바와 같이, 객체(100)가 있을 경우 마스크 이미지에 상기 객체(100)가 검출될 수 있고, 우측 아래 그림과 같이 상기 객체(100)가 검출되어 라벨링이 구현될 수 있다.As shown in FIG. 7 , when there is an object 100 , the object 100 may be detected in the mask image, and as shown in the lower right figure, the object 100 may be detected and labeling may be implemented.

도 8은 본 발명의 일 실시예에 따른 인공지능을 통해 객체의 2차 사람 판별을 하는 예시를 나타내는 도면이다.8 is a diagram illustrating an example of determining a secondary person of an object through artificial intelligence according to an embodiment of the present invention.

도 8에 도시된 바와 같이, 본 발명의 일 실시예에 따른 객체(100)의 2차 사람 판별에 사용되는 인공지능은, 한 실시예로 YOLO v3(You Only Look Once ver.3)를 이용한 딥러닝 모델 훈련일 수 있으며, 이를 통해 상기 객체(100)가 사람인지 판별될 수 있다.As shown in FIG. 8, the artificial intelligence used to determine the secondary person of the object 100 according to an embodiment of the present invention is deep using YOLO v3 (You Only Look Once ver.3) as an embodiment. It may be a learning model training, through which it may be determined whether the object 100 is a human.

YOLO v3는 객체인식을 수행하기 위해 고안된 심층 신경망으로, 테두리상자 조정(Bounding Box Coordinate)과 객체분류(Classification)를 동일 신경망 구조를 통해 동시에 실행하는 통합인식(Unified Detection)을 구현하는 것을 특징으로 하며, 영상에서 80개의 서로 다른 객체(100)를 매우 빠르고 정확하게 인식할 수 있다.YOLO v3 is a deep neural network designed to perform object recognition, and is characterized by implementing Unified Detection that simultaneously executes Bounding Box Coordinate and Object Classification through the same neural network structure. , 80 different objects 100 can be recognized very quickly and accurately in the image.

도 8은 상기 YOLO v3가 실행된 결과의 한 예시이며, 상술한 바와 같이 영상(200)의 복수 개의 객체(100)에 대해 각각 테두리상자(700)와 분류(800)가 표시될 수 있다. 상기 객체(100)가 사람일 경우, 상기 분류(800)에는 'person'이 표시될 수 있으며, 상기 객체(100)에 대한 상기 분류(800)가 'person'일 경우에 상기 객체(100)가 계수될 수 있다. 8 is an example of a result of executing YOLO v3, and as described above, a bounding box 700 and a classification 800 may be displayed for each of the plurality of objects 100 of the image 200. When the object 100 is a person, 'person' may be displayed in the classification 800, and when the classification 800 for the object 100 is 'person', the object 100 is can be counted.

상술한 바와 같이, 본 발명의 일 실시예에 따른 실시간 재실자 계수 시스템은 다른 높이에서 촬영된 복수 개의 객체 영상에 대해 상기 객체의 크기 및 높이를 도출하여 상기 객체가 사람인지 판별하고, 상기 객체의 이동 양상을 분석하여 계수하는 것을 특징으로 한다.As described above, the real-time occupant counting system according to an embodiment of the present invention determines whether the object is a person by deriving the size and height of the object for a plurality of object images photographed at different heights, and moves the object. It is characterized in that the aspect is analyzed and counted.

여기서 상기 객체의 영상은 이미지 또는 동영상일 수 있으며, 짧은 영상 내에서 상기 객체의 영상을 획득하는 것이 바람직하다.Here, the image of the object may be an image or a video, and it is preferable to acquire the image of the object within a short image.

도 9 내지 도 10을 참조하여 본 발명의 일 실시예에 따른 실시간 재실자 계수 장치를 아래와 같이 설명한다.A real-time occupant counting device according to an embodiment of the present invention will be described below with reference to FIGS. 9 to 10 .

도 9는 본 발명의 일 실시예에 따른 실시간 재실자 계수 장치를 도시한 도면이다.9 is a diagram illustrating a real-time occupant counting device according to an embodiment of the present invention.

도 9에 도시된 바와 같이, 본 발명의 일 실시예에 따른 실시간 재실자 계수 장치는 카메라모듈(1000), 상기 카메라모듈(1000)을 특정 높이로 이송하는 상하이송모듈(2000) 및 상기 카메라모듈(1000)과 상기 상하이송모듈(2000)을 동시에 제어하는 제어부(3000)를 포함할 수 있다.As shown in FIG. 9, the real-time occupant counting device according to an embodiment of the present invention includes a camera module 1000, a vertical transport module 2000 for transporting the camera module 1000 to a specific height, and the camera module ( 1000) and the control unit 3000 that simultaneously controls the vertical transfer module 2000.

카메라모듈(1000)은 이미지센서(1100)를 포함하고 후술하는 상하이송모듈(2000)에 지면을 바라보는 방향으로 연결될 수 있으며, 객체의 영상을 실시간으로 획득할 수 있다.The camera module 1000 includes an image sensor 1100 and may be connected to a vertical transport module 2000 to be described later in a direction toward the ground, and an image of an object may be obtained in real time.

상하이송모듈(2000)은 문 또는 천장과 같은 별도의 구조물에 구비되어 상기 카메라모듈(1000)과 연결될 수 있으며, 모터를 포함하여 상기 카메라모듈(1000)을 특정 방향 또는 특정 높이로 이송할 수 있다. 또한, 상기 카메라모듈(1000)이 서로 다른 특정 높이에서 상기 객체의 영상을 복수 개 획득할 수 있도록 상기 상하이송모듈(2000)이 빠르고 정확하게 작동될 수 있다.The vertical transport module 2000 may be provided on a separate structure such as a door or ceiling and connected to the camera module 1000, and may include a motor to transport the camera module 1000 in a specific direction or to a specific height. . In addition, the vertical transfer module 2000 can operate quickly and accurately so that the camera module 1000 can acquire a plurality of images of the object at different specific heights.

제어부(3000)는 상기 카메라모듈(1000)과 상기 상하이송모듈(2000)을 제어할 수 있으며, 상기 객체가 접근하면 상기 상하이송모듈(2000)이 상기 카메라모듈(1000)을 특정 높이로 이송시키도록 함과 동시에 상기 카메라모듈(1000)이 이송 전 제1 높이와 이송 후의 제2 높이에서 상기 객체의 제1 영상 및 제2 영상을 획득하도록 제어할 수 있다.The controller 3000 can control the camera module 1000 and the vertical transfer module 2000, and when the object approaches, the vertical transfer module 2000 moves the camera module 1000 to a specific height. At the same time, the camera module 1000 may be controlled to acquire first and second images of the object at a first height before transfer and a second height after transfer.

또한, 상기 제어부(3000)는 상기 획득된 복수 개의 영상에서 상기 객체를 인식하고, 상기 객체의 크기 및 높이를 도출한 후, 상기 객체가 사람인지 판별할 수 있으며, 추가적으로 인공지능을 기반으로 상기 사람으로 판별된 객체가 진짜 사람인지 2차로 판별하여 신뢰도를 높일 수 있으며, 이를 바탕으로 재실자를 계수할 수 있다.In addition, the controller 3000 may recognize the object from the acquired plurality of images, derive the size and height of the object, and then determine whether the object is a person, and additionally determine whether the person is a person based on artificial intelligence. It is possible to increase the reliability by determining whether the object determined by the real person is a real person, and based on this, the number of occupants can be counted.

도 9의 (a) 및 (b)는 상기 상하이송모듈(2000)이 리니어 모터(2100)를 포함하는 실시예를 나타내고, 도 9의 (c) 및 (d)는 상기 상하이송모듈(2000)이 랙 앤 피니언(2200)을 포함하는 실시예를 나타낸다.9 (a) and (b) show an embodiment in which the vertical transfer module 2000 includes a linear motor 2100, and FIG. 9 (c) and (d) show the vertical transfer module 2000 An embodiment including this rack and pinion 2200 is shown.

도 9의 (a) 및 (b)에 도시된 바와 같이, 한 실시예로 상기 상하이송모듈(2000)은 리니어 모터(2100)를 포함할 수 있고, 상기 리니어 모터(2100)는 샤프트(2110)를 포함할 수 있다. 상기 샤프트(2110)는 상기 카메라모듈(1000)과 연결될 수 있으며, 상기 샤프트(2110)의 이송에 따라 상기 카메라모듈(1000)이 영상을 획득하는 특정 높이로 이송될 수 있다.As shown in (a) and (b) of FIG. 9, in one embodiment, the vertical transfer module 2000 may include a linear motor 2100, and the linear motor 2100 may include a shaft 2110 can include The shaft 2110 may be connected to the camera module 1000, and as the shaft 2110 is transported, the camera module 1000 may be transported to a specific height at which an image is acquired.

도 9의 (a)와 같이 상기 샤프트(2110)가 위로 이송되면 상기 카메라모듈(1000) 또한 위로 이송되어 영상을 획득하는 높이가 높아질 수 있고, 도 9의 (b)와 같이 상기 샤프트(2110)가 아래로 이송되면 상기 카메라모듈(1000) 또한 아래로 이송되어 영상을 획득하는 높이가 낮아질 수 있다.As shown in (a) of FIG. 9, when the shaft 2110 is transferred upward, the camera module 1000 is also transferred upward so that the height at which an image is acquired can be increased, and as shown in (b) of FIG. 9, the shaft 2110 When is transferred downward, the camera module 1000 is also transferred downward, so that the height at which an image is acquired can be lowered.

도 9의 (c) 및 (d)에 도시된 바와 같이, 다른 실시예로 상기 상하이송모듈(2000)은 랙 앤 피니언(2200)을 포함할 수 있고, 상기 랙 앤 피니언(2200)은 기어모터(2210)와 기어레일(2220)을 포함할 수 있다. 상기 기어모터(2210)와 기어레일(2220)은 서로 맞물려 작동될 수 있으며, 상기 기어모터(2210)의 작동방향에 따라 상기 기어레일(2220)이 상승되거나 하강되어 상기 카메라모듈(1000)을 특정 높이로 이송할 수 있다.As shown in (c) and (d) of FIG. 9, in another embodiment, the vertical transfer module 2000 may include a rack and pinion 2200, and the rack and pinion 2200 may include a gear motor. 2210 and a gear rail 2220 may be included. The gear motor 2210 and the gear rail 2220 may be operated by interlocking with each other, and the gear rail 2220 is raised or lowered according to the operating direction of the gear motor 2210 to specify the camera module 1000. Can be transported at height.

도 9의 (c)와 같이 상기 기어모터(2210)가 도면 상의 시계방향으로 회전하면 상기 기어레일(2220)이 상승되고 상기 카메라모듈(1000) 또한 위로 이송되어 영상을 획득하는 높이가 높아질 수 있고, 도 9의 (d)와 같이 상기 기어모터(2210)가 도면 상의 반시계방향으로 회전하면 상기 기어레일(2220)이 하강되고 상기 카메라모듈(1000) 또한 아래로 이송되어 영상을 획득하는 높이가 낮아질 수 있다.As shown in (c) of FIG. 9, when the gear motor 2210 rotates clockwise on the drawing, the gear rail 2220 is raised, and the camera module 1000 is also transferred upward to increase the height at which images are acquired. , as shown in (d) of FIG. 9, when the gear motor 2210 rotates counterclockwise on the drawing, the gear rail 2220 is lowered and the camera module 1000 is also moved downward to obtain an image. can be lowered

도 10은 본 발명의 일 실시예에 따른 실시간 재실자 계수 장치의 작동을 나타내는 도면이다.10 is a diagram illustrating the operation of the real-time occupant counting device according to an embodiment of the present invention.

도 10에 도시된 바와 같이, 객체(100)가 도면 상의 좌측에서 우측으로 이동할 때, 실시간 재실자 계수 장치에 도 1 및 도 2에서 설명한 것과 같이 상기 객체(100)의 감지영역으로의 진입이 감지되면 제어부(3000)가 상기 카메라모듈(1000)이 제1 높이에서 상기 객체(100)의 제1 영상(200a)을 획득하도록 제어할 수 있으며, 도 10의 (a) 위치에서 획득된 영상(200a)은 도 10의 (c)와 같을 수 있다. 또한, 상기 객체(100)가 상기 카메라모듈(1000)의 시야범위(FOV)(310)에서 벗어나기 전에, 상기 제어부(3000)가 상하이송모듈(2000)이 상기 카메라모듈(1000)을 제2 높이로 이송하도록 하고 상기 카메라모듈(1000)이 상기 제2 높이에서 상기 객체(100)의 제2 영상(200b)을 획득하도록 제어할 수 있으며, 도 10의 (b) 위치에서 획득된 영상(200b)은 도 10의 (d)와 같을 수 있다.As shown in FIG. 10, when the object 100 moves from left to right on the drawing, the real-time occupant counting device detects the entry of the object 100 into the sensing area as described in FIGS. 1 and 2. The controller 3000 may control the camera module 1000 to acquire a first image 200a of the object 100 at a first height, and the image 200a obtained at the position (a) in FIG. 10 may be as shown in (c) of FIG. 10 . In addition, before the object 100 moves out of the field of view (FOV) 310 of the camera module 1000, the control unit 3000 allows the vertical transfer module 2000 to move the camera module 1000 to a second height. and the camera module 1000 can be controlled to acquire a second image 200b of the object 100 at the second height, and the image 200b obtained at the position (b) in FIG. 10 may be as shown in (d) of FIG. 10.

도 10의 (c)와 (d)의 획득된 영상(200a, 200b)에서 상기 객체(100)의 크기는 다를 수 있으며, 상기 객체(100)의 크기 비를 이용하여 상기 제어부(3000)는 상기 객체(100)의 높이를 도출할 수 있다. 또한, 상기 도출되는 객체(100)의 크기 및 높이를 통해 상기 객체(100)가 사람인지 판별하고, 도 2에서 상술한 바와 같이 상기 판별된 사람의 이동 양상에 따라 재실자가 계수될 수 있다.In the acquired images 200a and 200b of (c) and (d) of FIG. 10 , the size of the object 100 may be different, and the control unit 3000 uses the size ratio of the object 100 to determine the size of the object 100. The height of the object 100 may be derived. In addition, it is determined whether the object 100 is a person through the size and height of the derived object 100, and occupants may be counted according to the movement pattern of the determined person as described in FIG. 2 .

상기와 같은 방법 및 구성을 포함하는 실시간 재실자 계수 시스템 및 이를 위한 장치는 불필요한 데이터에 대한 연산을 줄여 정확도가 높고 속도가 빠르며, 시스템 구성 비용이 저렴한 이점이 있다.A real-time occupant counting system including the above method and configuration and an apparatus therefor have advantages of high accuracy, high speed, and low system configuration cost by reducing unnecessary data calculations.

상술한 바와 같이 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.Although the preferred embodiments of the present invention have been illustrated and described with reference to the drawings as described above, the present invention is not limited to the specific embodiments described above, and the subject matter without departing from the subject matter of the present invention claimed in the claims. Of course, various modifications and implementations are possible by those skilled in the art to which the invention belongs, and these modifications should not be individually understood from the technical spirit or perspective of the present invention.

100: 객체
110, 110': 객체 특징부
200: 영상
200a: 제1 영상
200b: 제2 영상
210: 제1 감지영역 기준선
220: 제2 감지영역 기준선
230: 제1 감지선
240: 제2 감지선
250: 퇴실경로
260: 입실경로
270: 외부우회경로
280: 내부우회경로
300: 영상 획득 높이의 평균
300a: 제1 영상 획득 높이
300b: 제2 영상 획득 높이
310: 시야범위(FOV)
400: 지면
500: 객체의 높이
600: 영상 획득 높이의 평균과 객체 높이의 차
610: 제1 영상 획득 높이와 객체 높이의 차
620: 제2 영상 획득 높이와 객체 높이의 차
700: 테두리 상자
800: 분류
1000: 카메라모듈
1100: 이미지센서
2000, 2000': 상하이송모듈
2100: 리니어 모터
2110: 샤프트
2200: 랙 앤 피니언
2210: 기어모터
2220: 기어레일
3000: 제어부
S100: 객체 감지 단계
S200: 제1 영상 획득 단계
S300: 제2 영상 획득 단계
S400: 사람 판별 단계
S500: 계수 단계100: object
110, 110': object features
200: video
200a: first image
200b: second image
210: first detection area reference line
220: second sensing area reference line
230: first detection line
240: second sensing line
250: exit route
260: entrance route
270: external bypass
280: internal bypass
300: average of image acquisition heights
300a: first image acquisition height
300b: second image acquisition height
310: field of view (FOV)
400: ground
500: the height of the object
600: The difference between the average image acquisition height and the object height
610: difference between the height of the first image acquisition and the height of the object
620: difference between the height of the second image acquisition and the height of the object
700: bounding box
800: classification
1000: camera module
1100: image sensor
2000, 2000': Shanghai Song Module
2100: linear motor
2110: shaft
2200: rack and pinion
2210: Gearmotor
2220: gear rail
3000: control unit
S100: object detection step
S200: First image acquisition step
S300: Second image acquisition step
S400: Person determination step
S500: counting step

Claims

하나의 카메라를 구비하여 객체의 영상을 실시간으로 획득하는 카메라모듈로부터 감지영역에 객체가 진입했는지 감지하는 객체 감지 단계;
상기 카메라모듈이 제1 높이에 있을 경우에 상기 객체의 제1 영상을 획득하는 제1 영상 획득 단계;
상기 카메라모듈이 제2 높이에 있을 경우에 동일한 상기 객체의 제2 영상을 획득하는 제2 영상 획득 단계;
상기 제1 영상 및 제2 영상으로부터 상기 객체가 사람인지 판별하는 사람 판별 단계; 및
상기 감지영역에서 상기 판별된 사람의 출입을 계수하는 계수 단계를 포함하되,
상기 사람 판별 단계는,
상기 획득된 제1 영상 및 제2 영상으로부터 상기 객체의 높이를 산출하여 상기 객체가 사람인지 판별하며,
상기 객체의 높이(H)는 아래의 수학식으로 정의되고,

는 상기 제1 높이 및 제2 높이의 평균이며,
R은 상기 제1 영상 및 제2 영상에서의 상기 객체의 크기 비이고,

는 상기 제1 높이 및 제2 높이의 차인 것을 특징으로 하는 실시간 재실자 계수 시스템.An object detection step of detecting whether an object enters a sensing area from a camera module equipped with a single camera and acquiring an image of the object in real time;
a first image acquisition step of acquiring a first image of the object when the camera module is at a first height;
a second image acquisition step of acquiring a second image of the same object when the camera module is at a second height;
a person determination step of determining whether the object is a person from the first image and the second image; and
Including a counting step of counting the entry and exit of the determined person in the detection area,
The person determination step,
Determine whether the object is a person by calculating a height of the object from the obtained first and second images;
The height (H) of the object is defined by the following equation,

Is the average of the first height and the second height,
R is the size ratio of the object in the first image and the second image,

is the difference between the first height and the second height.

제 1항에 있어서,
상기 계수 단계는,
상기 감지영역에 구비되는 복수 개의 감지선에 대해 상기 객체의 이동 양상을 감지하여 재실자를 계수하는 것을 특징으로 하는 실시간 재실자 계수 시스템.According to claim 1,
In the counting step,
The real-time occupant counting system, characterized in that for counting the occupants by detecting the moving aspect of the object with respect to the plurality of sensing lines provided in the sensing area.

하나의 카메라를 구비하여 객체의 영상을 실시간으로 획득하는 카메라모듈;
별도의 구조물에 고정되고, 상기 카메라모듈과 연결되어 상기 카메라모듈을 상하로 이송하는 상하이송모듈; 및
상기 카메라모듈과 상하이송모듈을 동시에 제어하는 제어부;를 포함하고,
상기 제어부는,
상기 카메라모듈이 제1 높이에 있을 경우에 획득되는 상기 객체의 제1 영상 및 상기 카메라모듈이 제2 높이에 있을 경우에 획득되는 동일한 상기 객체의 제2 영상으로부터 상기 객체의 높이를 산출하여 상기 객체가 사람인지 판별하고 재실자를 계수하되,
상기 객체의 높이(H)는 아래의 수학식으로 정의되고,

는 상기 제1 높이 및 제2 높이의 차인 것을 특징으로 하는 실시간 재실자 계수 장치.A camera module having one camera to acquire an image of an object in real time;
A vertical transport module fixed to a separate structure and connected to the camera module to vertically transport the camera module; and
A control unit for simultaneously controlling the camera module and the vertical transfer module;
The control unit,
The object height is calculated from a first image of the object obtained when the camera module is at a first height and a second image of the same object obtained when the camera module is at a second height. Determine whether is a person and count the occupants,
The height (H) of the object is defined by the following equation,

is the difference between the first height and the second height.

제 3항에 있어서,
상기 상하이송모듈은,
상기 카메라모듈과 연결되는 봉 형태의 샤프트가 구비된 리니어 모터;를 포함하는 것을 특징으로 하는 실시간 재실자 계수 장치.According to claim 3,
The Shanghai transfer module,
A real-time occupant counting device comprising a; linear motor having a rod-shaped shaft connected to the camera module.

제 3항에 있어서,
상기 상하이송모듈은,
상기 카메라모듈과 연결되며 축을 따라 톱니가 형성된 기어레일; 및
상기 기어레일과 맞물리는 기어가 구비된 기어모터;를 포함하여,
상기 기어가 회전함으로써 상기 기어레일에 연결된 상기 카메라모듈이 상하로 이송되는 것을 특징으로 하는 실시간 재실자 계수 장치.According to claim 3,
The Shanghai transfer module,
a gear rail connected to the camera module and having teeth formed along an axis; and
A gear motor having a gear meshing with the gear rail; including,
The real-time occupant counting device, characterized in that the camera module connected to the gear rail is transported up and down as the gear rotates.