KR20150005863A - Method and apparatus for counting pedestrians by moving directions - Google Patents
Method and apparatus for counting pedestrians by moving directions Download PDFInfo
- Publication number
- KR20150005863A KR20150005863A KR20140095846A KR20140095846A KR20150005863A KR 20150005863 A KR20150005863 A KR 20150005863A KR 20140095846 A KR20140095846 A KR 20140095846A KR 20140095846 A KR20140095846 A KR 20140095846A KR 20150005863 A KR20150005863 A KR 20150005863A
- Authority
- KR
- South Korea
- Prior art keywords
- foreground
- pedestrians
- image frame
- counting
- pedestrian
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 영상 감시에 관한 것으로, 더욱 상세하게는, 영상 내의 보행자 행동 감시에 관한 것이다.BACKGROUND OF THE
대규모 CCTV 시스템의 경우에 수십 개에서 수백 개에 이르는 영상들을 관리요원들이 모니터링하여야 하므로 대단히 많은 인원이 소요되면서도 감시 요원의 집중력 저하나 피로, 부주의, 임의적인 판단에 따라 중요한 상황을 놓치는 경우가 종종 있을 뿐 아니라, 엄청난 시간의 영상을 저장하는 문제에서도 곤란한 점이 많다.In the case of a large-scale CCTV system, the monitoring personnel need to monitor dozens to hundreds of images, so it takes a considerable number of people and often misses important situations due to concentration of the monitoring personnel, fatigue, carelessness, and arbitrary judgment In addition, there are many difficulties in storing images of a huge amount of time.
따라서 공공 장소를 감시하기 위해 CCTV 카메라로 공공 장소를 촬영하고 자동으로 영상을 분석하여 불특정 다수의 물체들을 추출하고 움직임을 분석하여, 비정상적인 움직임이 감지될 경우에 자동으로 관리자에게 경고하거나 그 밖의 연계된 자동화 시스템에 정보를 전달하는 지능형 영상 감시 시스템에 대한 요구가 점점 커지고 있다. Therefore, in order to monitor a public place, a public place is photographed with a CCTV camera, and an image is automatically analyzed to extract an unspecified number of objects and analyze the motion. When an abnormal motion is detected, There is a growing demand for intelligent video surveillance systems that transmit information to automation systems.
종래의 지능형 영상 감시 시스템들은 먼저 영상으로부터 식별한 전경 영역들을 미리 제공된 보행자 형태 모델에 기초하여 분할하여 개별 보행자들을 추출하고 계수하는 방식이다.Conventional intelligent video surveillance systems divide foreground regions identified from an image based on a pedestrian pattern model previously provided to extract and count individual pedestrians.
이러한 방식은 특정한 장소를 특정한 시야(viewpoint)에서 바라보았을 때에 얻어지는 보행자 형태 모델에 의존하므로, 카메라의 방향과 화각, 초점거리 등이 매우 제한적이다. 또한 흔히 일어나는 혼잡한 상황에서 보행자가 다른 보행자에 가리는 "폐색(occlusion)"이 일어나면 가려진 개별 보행자의 식별이 실패할 가능성이 매우 크다.Since this method relies on the pedestrian model obtained when a specific place is viewed from a specific viewpoint, the direction, angle of view, and focal distance of the camera are very limited. It is also very likely that the identification of individual pedestrians that are obscured will fail if an "occlusion" occurs where the pedestrian crosses other pedestrians in a common congestion situation.
이러한 종래의 시스템들은 전경 영역의 추출과 모델 분석, 유사도 판정, 추적 등의 세부 알고리즘을 거치면서 대단히 많은 연산 자원을 필요로 함에도 불구하고 정확도는 충분하지 않다.Although these conventional systems require a great deal of computation resources through detailed algorithms such as extraction of the foreground region, model analysis, similarity determination, and tracking, the accuracy is not sufficient.
예를 들어, 광장이나 공원, 기차역, 운동장 등 군중들이 밀집하는 곳을 감시하는 경우에, 종래의 지능형 영상 감시 시스템들로써 군중 속에서 나타나는 비정상적인 움직임을 정확히 추출하는 것은 쉽지 않다.For example, it is not easy to accurately detect abnormal movements in the crowd using conventional intelligent video surveillance systems when monitoring crowded crowds such as squares, parks, train stations, and playgrounds.
본 발명이 해결하고자 하는 과제는 개별 보행자들을 모델링하지 않아 폐색에 영향을 받지 않으면서 개별 보행자의 이동 방향을 추적할 수 있는 이동 방향별 보행자 계수 방법 및 장치를 제공하는 데에 있다.A problem to be solved by the present invention is to provide a pedestrian counting method and apparatus for each moving direction that can track the moving direction of an individual pedestrian without being affected by obstruction without modeling individual pedestrians.
본 발명의 일 측면에 따른 이동 방향별 보행자 계수 장치는,According to an aspect of the present invention,
입력 이미지 프레임으로부터 추출된 전경 영역들의 모션 벡터들을 이동 방향을 기준으로 한 적어도 하나의 방향 군집으로 군집화하고, 각 방향 군집에 속하는 모션 벡터들을 가지는 전경 영역 픽셀들을 집결하여 전체 전경 영역을 적어도 하나의 방향별 전경 영역 집합들로 분할하는 방향 분할 모듈;The motion vectors of the foreground regions extracted from the input image frame are grouped into at least one directional cluster based on the moving direction and the foreground region pixels having the motion vectors belonging to each directional cluster are gathered so that the entire foreground region is divided into at least one direction A direction partitioning module for dividing the image into a plurality of star foreground area sets;
적어도 상기 입력 이미지 프레임으로부터 추출된 전경 영역들의 특징점 개수 성분에 기초하여 전체 보행자들을 계수하는 보행자 계수 모듈; 및A pedestrian counting module for counting all pedestrians based on at least the feature point number components of the foreground regions extracted from the input image frame; And
상기 입력 이미지 프레임 내의 전체 보행자 수와 전경 영역 전체 및 각 방향별 전경 영역 집합들의 관계에 기초하여 방향별 보행자들을 계수하는 방향별 보행자 계수 모듈을 포함할 수 있다.And a directional pedestrian counting module for counting directional pedestrians based on the total number of pedestrians in the input image frame, the entire foreground area, and the relation of foreground area sets by each direction.
일 실시예에 따라, 상기 방향 분할 모듈은According to one embodiment, the direction division module
상기 이미지 프레임으로부터 배경을 추출하고, 추출된 배경을 기초로 상기 이미지 프레임으로부터 전경 영역을 추출하는 전경 영역 추출부;A foreground region extraction unit for extracting a background from the image frame and extracting a foreground region from the image frame based on the extracted background;
추출된 전경 영역들의 모션 벡터들을 추출하는 모션 벡터 추출부;A motion vector extraction unit for extracting motion vectors of extracted foreground regions;
추출된 모션 벡터들의 극좌표계 각도로 표현되는 이동 방향 성분들을 가우시안 혼합 모델을 이용하여 근사시킬 수 있는 가우시안 성분들을 산출하고, 산출된 가우시안 성분들을 군집의 개수가 미정인 군집화 알고리즘들을 이용하여 적어도 하나의 방향 군집들로 군집화하는 모션 벡터 방향 군집화부; 및The Gaussian components that can be approximated using the Gaussian mixture model are calculated based on the motion direction components expressed by polar coordinate angles of the extracted motion vectors, and the calculated Gaussian components are classified into at least one A motion vector direction clustering unit clustered into directional clusters; And
동일한 방향 군집에 속하는 모션 벡터들을 가지는 전경 영역 픽셀들을 각각 집결하여, 전체 전경 영역들을 모션 벡터 방향 군집의 개수와 동일한 개수의 방향별 전경 영역 집합들로 분할하는 전경 영역 분할부를 포함할 수 있다.And a foreground region dividing unit for collecting foreground region pixels having motion vectors belonging to the same direction cluster and dividing the whole foreground regions into the same number of foreground region sets per direction as the number of motion vector direction clusters.
일 실시예에 따라, 상기 전경 영역 추출부는 가우시안 혼합 모델링 기법에 기초하여 전경 영역을 추출하도록 동작할 수 있다.According to one embodiment, the foreground region extractor may be operable to extract a foreground region based on a Gaussian mixture modeling technique.
일 실시예에 따라, 상기 전경 영역 추출부는 팽창 또는 침식을 포함하는 화상 변형을 반복하여 전경 영역의 노이즈를 제거하도록 동작할 수 있다.According to one embodiment, the foreground region extractor may be operable to repeat the image transform, including expansion or erosion, to remove noise in the foreground region.
일 실시예에 따라, 상기 모션 벡터 추출부는 루카스-카나데 알고리즘, 혼-슁크 알고리즘, CLG(Combined Local-Global) 알고리즘 중 어느 하나를 통해 연산된 광학적 흐름(optical flow) 벡터들로서 모션 벡터들을 추출하도록 동작할 수 있다.According to one embodiment, the motion vector extractor may be operable to extract motion vectors as optical flow vectors computed through any one of a Lucas-Kanade algorithm, a hone-shink algorithm, a CLG (Combined Local-Global) can do.
일 실시예에 따라, 상기 모션 벡터 방향 군집화부는 EM(Expectation-Maximization) 알고리즘을 통해 가우시안 성분들을 산출하도록 동작할 수 있다.According to one embodiment, the motion vector direction clustering unit may operate to calculate Gaussian components through an Expectation-Maximization (EM) algorithm.
일 실시예에 따라, 상기 모션 벡터 방향 군집화부의 군집화 알고리즘은 SLC(Sequential Leader Clustering) 알고리즘일 수 있다.According to one embodiment, the clustering algorithm of the motion vector direction clustering unit may be a Sequential Leader Clustering (SLC) algorithm.
일 실시예에 따라, 상기 전경 영역 분할부는 동일한 방향 군집에 속하는 적어도 하나의 가우시안 성분에 상응하는 모션 벡터 방향 각도 값들을 가지는 전경 영역 픽셀들을 집결하도록 동작할 수 있다.According to one embodiment, the foreground region divider may be operable to aggregate foreground region pixels having motion vector direction angle values corresponding to at least one Gaussian component belonging to the same direction cluster.
일 실시예에 따라, 상기 보행자 계수 모듈은 According to one embodiment, the pedestrian coefficient module
상기 입력 이미지 프레임으로부터 추출된 전경 영역들의 특징점 개수 성분 및 통계적 특징 벡터들을 모두 이용하여, 또는 Using both the feature point number components and the statistical feature vectors of the foreground regions extracted from the input image frame, or
상기 입력 이미지 프레임으로부터 추출된 전경 영역들의 특징점 개수 성분 및 통계적 특징 벡터들 중에서 주성분 분석 알고리즘에 의해 선정되는 적어도 하나의 통계적 특징 주성분에 기초하여 보행자들을 계수하도록 동작할 수 있다.And counting pedestrians based on at least one statistical feature principal component selected by the principal component analysis algorithm from the feature point number components and statistical feature vectors of the foreground regions extracted from the input image frame.
일 실시예에 따라, 상기 보행자 계수 모듈은According to one embodiment, the pedestrian coefficient module
학습용 이미지 프레임으로부터 추출된 전경 영역들의 특징점 개수 성분과, 주성분 분석 알고리즘에 의해 선정되는 적어도 하나의 통계적 특징 주성분 및 주어진 학습용 이미지 내의 보행자 수에 기초하여 주지의 학습 기법에 따라 학습 모델을 구축하고, 상기 입력 이미지 프레임으로부터 추출된 전경 영역들의 특징점 개수 성분 및 통계적 특징 벡터들 중에서 주성분 분석 알고리즘에 의해 선정되는 적어도 하나의 통계적 특징 주성분을 상기 학습 모델에 인가하여 상기 입력 이미지 프레임 내의 보행자들을 계수하도록 동작할 수 있다.Constructing a learning model according to a well-known learning technique based on feature point number components of foreground regions extracted from the learning image frame, at least one statistical feature principal component selected by the principal component analysis algorithm, and the number of pedestrians in a given learning image, At least one statistical feature principal selected by a principal component analysis algorithm from the feature point number components and statistical feature vectors of foreground regions extracted from the input image frame may be applied to the training model to count pedestrians in the input image frame have.
일 실시예에 따라, 상기 보행자 계수 모듈은According to one embodiment, the pedestrian coefficient module
이미지 프레임의 전경 영역으로부터 특징점 추출 알고리즘들을 이용하여 특징점들을 추출하는 특징점 추출부;A feature point extracting unit for extracting feature points using feature point extraction algorithms from a foreground region of an image frame;
전경 영역들과 보행자 수 사이의 통계적 관계를 나타내는 복수의 통계적 특징 성분들 중에서 주성분 분석을 통해 적어도 하나의 통계적 특징 주성분을 선정하는 주성분 분석부; 및A principal component analyzer for selecting at least one statistical feature principal component through principal component analysis among a plurality of statistical feature components representing statistical relations between foreground regions and the number of pedestrians; And
학습용 이미지 프레임 내의 추출된 특징점들의 특징점 개수 성분, 통계적 특징 성분들 중에서 선정된 통계적 특징 주성분 및 상기 학습용 이미지 프레임 내의 보행자 수에 기초하여 학습된 학습 모델을 구축하고, 상기 입력 이미지 프레임으로부터 추출된 특징점 개수 성분 및 선정된 통계적 특징 주성분을 상기 학습 모델에 인가하여, 상기 입력 이미지 프레임 내의 보행자들을 계수하는 보행자 계수부를 포함할 수 있다.Constructing a learned learning model based on a feature point number component of extracted feature points in a learning image frame, a statistical feature principal component selected from statistical feature components and a number of pedestrians in the learning image frame, and calculating a feature point number extracted from the input image frame And a pedestrian counting unit for counting pedestrians in the input image frame by applying the selected statistical feature principal component to the learning model.
일 실시예에 따라, 상기 특징점 추출 알고리즘은 SURF, SIFT, 해리스 코너 검출기, 포스트너 검출기, 카나데-루카스-토마시 알고리즘 중에서 선택될 수 있다.According to one embodiment, the minutiae extraction algorithm can be selected from among SURF, SIFT, Harris corner detector, Postner detector, Kanade-Lucas-Tomasi algorithm.
일 실시예에 따라, 상기 통계적 특징 성분은 전경 영역의 면적, 전경 영역의 외곽선 길이, 전경 영역의 텍스처의 균질성, 대비도, 에너지 또는 엔트로피 속성을 포함할 수 있다.According to one embodiment, the statistical feature component may include an area of the foreground area, an outline length of the foreground area, texture uniformity, contrast, energy or entropy properties of the foreground area.
일 실시예에 따라, 상기 방향별 보행자 계수 모듈은, According to one embodiment, the directional pedestrian coefficient module comprises:
상기 산출된 전경 영역의 전체 면적에 대비한 방향별 전경 영역 집합들 각각의 면적의 비율에 상기 입력 이미지 프레임 내의 전체 보행자 수를 승산하여, 방향별 보행자를 계수하도록 동작할 수 있다.And multiply the ratio of the area of each foreground area set by direction relative to the total area of the calculated foreground area by the total number of pedestrians in the input image frame to count the pedestrian by direction.
본 발명의 다른 측면에 따른 기록 매체는 컴퓨터를 일 실시예에 따른 이동 방향별 보행자 계수 장치로 동작시키도록 구현된 프로그램이 수록된 컴퓨터로 독출가능한 기록 매체일 수 있다.The recording medium according to another aspect of the present invention may be a computer-readable recording medium on which a program embodied to operate a computer as a pedestrian counting device for each moving direction according to an embodiment is stored.
본 발명의 또 다른 측면에 따른 이동 방향별 보행자 계수 방법은,According to another aspect of the present invention, there is provided a pedestrian counting method for each moving direction,
이미지 프레임으로부터 전경 영역들을 추출하는 단계;Extracting foreground regions from an image frame;
상기 전경 영역들의 모션 벡터들을 추출하는 단계;Extracting motion vectors of the foreground regions;
추출된 모션 벡터들의 극좌표계 각도로 표현되는 이동 방향 성분들을 적어도 하나의 방향 군집들로 군집화하는 단계;Clustering moving direction components represented by polar coordinate angles of the extracted motion vectors into at least one direction clusters;
각 방향 군집에 속하는 모션 벡터들을 가지는 전경 영역 픽셀들을 집결하여 전체 전경 영역을 적어도 하나의 방향별 전경 영역 집합들로 분할하는 단계;Dividing foreground region pixels having motion vectors belonging to each direction cluster into at least one direction foreground region sets by direction;
적어도 상기 입력 이미지 프레임으로부터 추출된 전경 영역들의 특징점 개수 성분에 기초하여 전체 보행자들을 계수하는 단계; 및Counting all pedestrians based on at least the feature point number components of the foreground regions extracted from the input image frame; And
상기 입력 이미지 프레임 내의 보행자 수와 전경 영역 전체 및 각 방향별 전경 영역 집합들의 관계에 기초하여 방향별 보행자들을 계수하는 단계를 포함할 수 있다.Counting directional pedestrians based on the number of pedestrians in the input image frame, the entire foreground area, and the relationship of foreground area sets by each direction.
일 실시예에 따라, 상기 전경 영역은 가우시안 혼합 모델링 기법에 기초하여 추출될 수 있다.According to one embodiment, the foreground region may be extracted based on a Gaussian mixture modeling technique.
일 실시예에 따라, 상기 모션 벡터는 루카스-카나데 알고리즘, 혼-슁크 알고리즘, CLG(Combined Local-Global) 알고리즘 중 어느 하나를 통해 연산된 광학적 흐름 벡터들로서 추출될 수 있다.According to one embodiment, the motion vector may be extracted as optical flow vectors computed through any one of the Lucas-Canade algorithm, the horn-shink algorithm, or the CLG (Combined Local-Global) algorithm.
일 실시예에 따라, 상기 군집화하는 단계는,According to one embodiment, the clustering comprises:
추출된 모션 벡터들의 극좌표계 각도로 표현되는 이동 방향 성분들을 가우시안 혼합 모델을 이용하여 근사시킬 수 있는 가우시안 성분들을 산출하는 단계; 및Calculating Gaussian components that can approximate movement direction components expressed by polar coordinate angles of the extracted motion vectors using a Gaussian mixture model; And
산출된 가우시안 성분들을 군집의 개수가 미정인 군집화 알고리즘들을 이용하여 적어도 하나의 방향 군집들로 군집화하는 단계를 포함할 수 있다.And grouping the calculated Gaussian components into at least one directional clusters using clustering algorithms with a number of clusters not yet determined.
일 실시예에 따라, 상기 가우시안 성분들은 EM 알고리즘을 통해 산출될 수 있다.According to one embodiment, the Gaussian components may be computed via an EM algorithm.
일 실시예에 따라, 상기 군집화 알고리즘은 SLC 알고리즘일 수 있다.According to one embodiment, the clustering algorithm may be an SLC algorithm.
일 실시예에 따라, 상기 방향별 전경 영역 집합들은 동일한 방향 군집에 속하는 적어도 하나의 가우시안 성분에 상응하는 모션 벡터 방향 각도 값들을 가지는 전경 영역 픽셀들을 집결하여 형성될 수 있다.According to one embodiment, the foreground foreground area sets may be formed by gathering foreground area pixels having motion vector direction angle values corresponding to at least one Gaussian component belonging to the same directional cluster.
일 실시예에 따라, 상기 특징점 추출 알고리즘은 SURF, SIFT, 해리스 코너 검출기, 포스트너 검출기, 카나데-루카스-토마시 알고리즘 중 선택될 수 있다.According to one embodiment, the minutiae extraction algorithm can be selected from SURF, SIFT, Harris corner detector, Postner detector, Kanade-Lucas-Tomaschi algorithm.
일 실시예에 따라, 상기 전체 보행자들을 계수하는 단계는According to one embodiment, the step of counting the entire pedestrian
상기 입력 이미지 프레임으로부터 추출된 전경 영역들의 특징점 개수 성분 및 통계적 특징 벡터들 중에서 주성분 분석 알고리즘에 의해 선정되는 적어도 하나의 통계적 특징 주성분에 기초하여 보행자들을 계수하는 단계를 포함할 수 있다.And counting the pedestrians based on at least one statistical feature principal component selected by the principal component analysis algorithm from among the feature point number components and statistical feature vectors of the foreground regions extracted from the input image frame.
일 실시예에 따라, 상기 전체 보행자들을 계수하는 단계는According to one embodiment, the step of counting the entire pedestrian
학습용 이미지 프레임으로부터 추출된 전경 영역들의 특징점 개수 성분과, 주성분 분석 알고리즘에 의해 선정되는 적어도 하나의 통계적 특징 주성분 및 주어진 학습용 이미지 내의 보행자 수에 기초하여 주지의 학습 기법에 따라 학습 모델을 구축하는 단계;Constructing a learning model according to a well-known learning technique based on a feature point number component of foreground regions extracted from a training image frame, at least one statistical feature principal component selected by a principal component analysis algorithm, and a pedestrian number in a given learning image;
상기 입력 이미지 프레임으로부터 추출된 전경 영역들의 특징점 개수 성분 및 통계적 특징 벡터들 중에서 주성분 분석 알고리즘에 의해 선정되는 적어도 하나의 통계적 특징 주성분을 상기 학습 모델에 입력하는 단계; 및Inputting at least one statistical feature principal component selected by a principal component analysis algorithm among the feature point number components and statistical feature vectors of foreground regions extracted from the input image frame into the learning model; And
상기 학습 모델로부터 상기 입력 이미지 프레임 내의 보행자들의 수를 획득하는 단계를 포함할 수 있다.And obtaining the number of pedestrians in the input image frame from the learning model.
일 실시예에 따라, 상기 통계적 특징 성분은 전경 영역의 면적, 전경 영역의 외곽선 길이, 전경 영역의 텍스처의 균질성, 대비도, 에너지 또는 엔트로피 속성을 포함할 수 있다.According to one embodiment, the statistical feature component may include an area of the foreground area, an outline length of the foreground area, texture uniformity, contrast, energy or entropy properties of the foreground area.
일 실시예에 따라, 상기 방향별 보행자들을 계수하는 단계는According to one embodiment, the step of counting the directional pedestrians comprises
상기 산출된 전경 영역의 전체 면적에 대비한 방향별 전경 영역 집합들 각각의 면적의 비율에 상기 입력 이미지 프레임 내의 전체 보행자 수를 승산하여, 방향별 보행자를 계수하는 단계를 포함할 수 있다.And counting the number of pedestrians by multiplying the ratio of the area of each foreground area set by direction relative to the total area of the calculated foreground area by the total number of pedestrians in the input image frame.
본 발명의 또 다른 측면에 따른 기록 매체는 컴퓨터에서 일 실시예에 따른 이동 방향별 보행자 계수 방법을 수행하는 프로그램이 수록된 컴퓨터로 독출가능한 기록 매체일 수 있다.The recording medium according to another aspect of the present invention may be a computer-readable recording medium containing a program for performing a pedestrian counting method for each moving direction according to an embodiment of the present invention.
본 발명의 이동 방향별 보행자 계수 방법 및 장치에 따르면, 전경 영역에 대한 모션 벡터 기법과 주요 성분 분석이 적용된 특징값 추출 기법을 함께 이용하여 이동 방향별 보행자를 계수할 수 있다.According to the pedestrian counting method and apparatus according to the moving direction of the present invention, it is possible to count pedestrians in the moving direction by using the motion vector method for the foreground region and the feature value extracting method using the principal component analysis.
본 발명의 이동 방향별 보행자 계수 방법 및 장치에 따르면, 각 보행자들의 움직임이 식별되어, 일부 보행자들의 갑작스러운 방향 또는 속도 변경, 배회자, 혼잡 상황, 특정 장소에 대한 보행자들의 비정상적인 회피 움직임 등이 비정상적 움직임으로서 식별될 수 있다.According to the pedestrian counting method and apparatus according to the moving direction of the present invention, the motion of each pedestrian is identified, and the sudden direction or speed change of some pedestrians, the rover, congestion situation, abnormal movement avoidance of pedestrians to a specific place, Can be identified as a motion.
도 1은 본 발명의 일 실시예에 따른 이동 방향별 보행자 계수 장치를 예시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 이동 방향별 보행자 계수 장치의 방향 분할 모듈에서, 원본, 추출된 모션 벡터들, 모션 벡터들의 방향 각도 값들의 히스토그램 및 가우시안 혼합 모델(GMM) 표현 다이어그램을 예시한 도면들이다.
도 3은 본 발명의 일 실시예에 따른 이동 방향별 보행자 계수 장치의 방향 분할 모듈에서, 원본, 전경 영역, 추출된 모션 벡터들 및 이동 방향별로 분류된 전경들을 예시한 예제들이다.
도 4는 본 발명의 일 실시예에 따른 이동 방향별 보행자 계수 장치의 보행자 계수 모듈에서 추출된 특징점들을 예시한 예제이다.
도 5는 본 발명의 일 실시예에 따른 이동 방향별 보행자 계수 장치의 보행자 계수 모듈에서 추출된 특징점들의 개수와 수작업으로 계수한 보행자 수의 관계를 예시한 그래프이다.
도 6은 본 발명의 일 실시예에 따른 이동 방향별 보행자 계수 장치의 보행자 계수 모듈에서 전경 영역의 면적과 보행자 수 사이의 관계를 예시한 그래프이다.
도 7은 본 발명의 일 실시예에 따른 이동 방향별 보행자 계수 장치의 보행자 계수 모듈에서 전경 영역의 경계선 길이와 보행자 수 사이의 관계를 예시한 그래프이다.
도 8은 본 발명의 일 실시예에 따른 이동 방향별 보행자 계수 장치의 보행자 계수 모듈에서 추정된 보행자 수와 방향 분할 모듈에서 분류된 이동 방향별 전경 영역들에 기초하여 방향별 보행자 계수 모듈에서 판정한 이동 방향별 보행자들을 예시한 예제들이다.
도 9는 예제 동영상들에 대해 본 발명의 일 실시예에 따른 이동 방향별 보행자 계수 장치를 통해 추정된 보행자 수와 수작업으로 계수된 보행자 수를 비교한 그래프들이다.
도 10은 본 발명의 일 실시예에 따른 이동 방향별 보행자 계수 방법을 예시한 순서도이다.1 is a block diagram illustrating a pedestrian counting apparatus according to an embodiment of the present invention.
FIG. 2 is a diagram illustrating an original, extracted motion vectors, a histogram of direction angle values of motion vectors, and a Gaussian mixture model (GMM) expression diagram in the direction division module of the pedestrian counter device according to an embodiment of the present invention. These are the drawings.
FIG. 3 is a diagram illustrating examples of foregrounds classified by the direction, the original area, the foreground area, the extracted motion vectors, and the moving direction in the direction division module of the pedestrian counter device according to the embodiment of the present invention.
FIG. 4 illustrates an example of minutiae extracted from a pedestrian coefficient module of a pedestrian counting device according to an embodiment of the present invention.
5 is a graph illustrating the relationship between the number of minutiae points extracted from the pedestrian coefficient module of the pedestrian counting device for each moving direction according to an embodiment of the present invention and the number of pedestrians counted by manual operation.
6 is a graph illustrating the relationship between the area of the foreground area and the number of pedestrians in the pedestrian coefficient module of the pedestrian counting device according to an embodiment of the present invention.
7 is a graph illustrating a relationship between the length of a boundary line of a foreground region and the number of pedestrians in a pedestrian coefficient module of a pedestrian counting device according to an embodiment of the present invention.
FIG. 8 is a graph showing a result obtained by multiplying the number of pedestrians estimated by the pedestrian coefficient module of the pedestrian counting device according to an embodiment of the present invention and the number of pedestrians counted by the directional pedestrian counting module Examples of pedestrians by direction of movement.
9 is a graph comparing the number of pedestrians estimated by the pedestrian counting device according to one embodiment of the present invention and the number of pedestrians counted by hand for the example videos.
10 is a flowchart illustrating a pedestrian counting method according to a moving direction according to an embodiment of the present invention.
본문에 개시되어 있는 본 발명의 실시예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니 된다. For the embodiments of the invention disclosed herein, specific structural and functional descriptions are set forth for the purpose of describing an embodiment of the invention only, and it is to be understood that the embodiments of the invention may be practiced in various forms, The present invention should not be construed as limited to the embodiments described in Figs.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다. Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. The same reference numerals are used for the same constituent elements in the drawings and redundant explanations for the same constituent elements are omitted.
도 1은 본 발명의 일 실시예에 따른 이동 방향별 보행자 계수 장치를 예시한 블록도이다.1 is a block diagram illustrating a pedestrian counting apparatus according to an embodiment of the present invention.
도 1을 참조하면, 이동 방향별 보행자 계수 장치(10)는 방향 분할 모듈(20), 보행자 계수 모듈(30) 및 방향별 보행자 계수 모듈(40)을 포함한다.Referring to FIG. 1, a
방향 분할 모듈(20)은 이미지 프레임으로부터 추출된 전경 영역들의 모션 벡터들을 이동 방향을 기준으로 한 적어도 하나의 방향 군집으로 군집화(clustering)하고, 각 방향 군집들에 속하는 모션 벡터들을 가지는 전경 영역 픽셀들을 집결하여 전체 전경 영역을 방향별 전경 영역 집합들(partitions)로 분할한다.The
구체적으로, 방향 분할 모듈(20)은 예를 들어 연속하는 영상들에서 변하지 않는 부분을 배경(background)으로 보고 이를 제거하는 차영상 기법, 소정 시간 동안의 영상 프레임들의 누적이나 학습을 통한 배경 모델링 기법 또는 가우시안 혼합 모델과 같은 적응적 배경 모델링 기법 등의 다양한 주지된 배경 모델링 기법을 이용하여 배경을 추출한 다음, 추출된 배경을 기초로 이미지 프레임으로부터 전경 영역을 추출할 수 있다.For example, the
나아가, 방향 분할 모듈(20)은 추출된 전경 영역들의 모션 벡터들을 예를 들어 루카스-카나데(Lucas and Kanade) 알고리즘, 혼-슁크(Horn-Schunck) 알고리즘, 또는 국부-전역 결합(Combined Local-Global) 알고리즘과 같은 주지의 광학적 흐름 알고리즘들(optical flow algorithms)을 이용하여 추출한다.Furthermore, the
이어서, 방향 분할 모듈(20)은 추출된 모션 벡터들의 극좌표계 각도로 표현되는 이동 방향 성분들을 적어도 하나의 방향 군집들로 군집화할 수 있다.Then, the
실시예에 따라, 방향 분할 모듈(20)은 이동 방향 성분들을 가우시안 혼합 모델을 이용하여 근사시킬 수 있는 가우시안 성분들을 산출할 수 있다.According to the embodiment, the
실시예에 따라, 방향 분할 모듈(20)은 산출된 가우시안 성분들을 예를 들어 군집의 개수가 미정인 상태로 개시되는 자가 조직 맵(Self-Organizing Map) 알고리즘이나 순차 승자 군집화(SLC, Sequential Leader Clustering) 알고리즘과 같은 주지의 군집화 알고리즘들을 이용하여 군집화할 수 있다.According to the embodiment, the
마지막으로, 방향 분할 모듈(20)은 동일한 방향 군집에 속하는 모션 벡터들을 가지는 전경 영역 픽셀들을 각각 집결하여, 전체 전경 영역들을 방향 군집의 개수와 동일한 개수의 방향별 전경 영역 집합들로 분할한다.Finally, the
실시예에 따라, 방향 분할 모듈(20)은 동일한 방향 군집에 속하는 가우시안 성분들에 상응하는 모션 벡터들을 가지는 전경 영역 픽셀들을 각각 집결하여 방향별 전경 영역 집합들을 생성할 수 있다.According to the embodiment, the
다음으로, 보행자 계수 모듈(30)은 입력되는 이미지 프레임 내의 전경 영역들의 특징점 개수 성분에 기초하여 보행자들을 계수한다.Next, the
특히, 보행자 계수 모듈(30)은 학습용 이미지 프레임으로부터 추출된 전경 영역들의 특징점 개수 성분과, 주성분 분석 알고리즘(PCA, Principal Components Analysis)에 의해 통계적 특징 벡터들(statistical feature vectors) 중에서 선정되는 적어도 하나의 통계적 특징 주성분 및 주어진 학습용 이미지 내의 보행자 수에 기초하여 주지의 학습 기법에 따라 학습 모델을 구축하고, 구축된 학습 모델에 입력 이미지 프레임 내의 전경 영역들의 특징점 개수 성분 및 통계적 특징 주성분을 인가하여 보행자들을 계수한다.Particularly, the
좀더 구체적으로, 보행자 계수 모듈(30)은 방향 분할 모듈(20)에서 추출된 전경 영역으로부터 예를 들어 SURF(Speeded Up Robust Feature Algorithm), SIFT(Scale Invariant Feature Transforms), 해리스 코너 검출기(Harris corner detector), 포스트너 검출기(Forstner detector), 카나데-루카스-토마시 알고리즘(KLT, Kanade-Lucas-Tomasi)과 같은 주지의 특징점 추출 알고리즘들을 이용하여 특징점들을 추출한다.More specifically, the
이어서, 보행자 계수 모듈(30)은 전경 영역들과 보행자 수 사이의 통계적 관계를 나타내는 복수의 통계적 특징 성분들 중에서 주성분 분석(PCA)을 통해 선정된 적어도 하나의 통계적 특징 주성분을 산출한다.The
통계적 특징 성분들은 예를 들어, 전경 영역들의 픽셀 개수 성분, 전경 영역들의 에지 픽셀 개수 성분, 전경 영역들의 텍스처 속성들, 즉 균질성(Homogeneity), 대비도(Contrast), 에너지(Energy) 및 엔트로피(Entropy)을 포함할 수 있다.The statistical feature components include, for example, the pixel number component of the foreground regions, the edge pixel number component of the foreground regions, the texture properties of the foreground regions such as Homogeneity, Contrast, Energy and Entropy ).
보행자 계수 모듈(30)은 추출된 특징점들의 특징점 개수 성분, 통계적 특징 성분들 중에서 선정된 통계적 특징 주성분 및 주어진 학습용 이미지 내의 보행자 수에 기초하여 예를 들어 인공 신경망(Neural Network)와 같은 주지의 학습 기법에 따라 학습시켜, 학습 모델을 구축한다.The
이어서, 보행자 계수 모듈(30)은 입력된 이미지 프레임으로부터 추출된 특징점 개수 성분과 선정된 통계적 특징 주성분을 구축된 학습 모델에 적용하여, 이미지 프레임 전체의 보행자들을 계수한다.Then, the
방향별 보행자 계수 모듈(40)은 이미지 프레임 내에서 추정된 보행자 수와 전경 영역 전체 및 각 방향별 전경 영역 집합들의 관계에 기초하여 방향별 보행자들을 계수한다.The directional
구체적으로, 방향별 보행자 계수 모듈(40)은 전경 영역을 방향별로 분할하고, 전체 전경 영역 중 각 방향별로 분할된 방향별 전경 영역들의 각각의 비율에 따라, 산출된 전체 보행자 중에서 각 방향별 전경 영역 내에 보행자가 몇 명이 있을지 추정한다.Specifically, the directional
좀더 구체적으로, 방향 분할 모듈(20)에서 산출된 전경 영역 전체 면적에 대비한 방향별 전경 영역 집합 면적의 비율에 보행자 계수 모듈(30)에서 추정된 전체 이미지 프레임 내의 보행자 수를 승산하여, 방향별 보행자들의 수를 산출한다.More specifically, the number of pedestrians in the entire image frame estimated by the
다시 말해, 기존의 보행자 계수 방법들은 보행자들에 상응하는 객체들을 실제로 추출한 다음 그 객체들을 계수함으로써 보행자들의 수를 산출하는 방식인 반면에, 본 발명의 이동 방향별 보행자 계수 장치(10)는 개별 보행자에 상응하는 객체를 산출하는 대신에 전경 영역의 특징점들의 개수 및 통계적 속성에 기초하여 학습시킨 학습 모델로써 전체 보행자의 수를 산출한다.In other words, the existing pedestrian counting method is a method of actually extracting the objects corresponding to the pedestrians and counting the number of the pedestrians by counting the objects, while the
아래에서 좀더 구체적으로 각 모듈들(20, 30, 40)의 동작을 설명한다.The operation of each of the
먼저, 방향 분할 모듈(20)은 전경 영역 추출부(21), 모션 벡터 연산부(22), 모션 벡터 방향 군집화부(23) 및 전경 영역 분할부(24)를 포함할 수 있다.First, the
방향 분할 모듈(20)의 전경 영역 추출부(21)는 예를 들어 차영상 기법, 배경 모델링 기법 또는 가우시안 혼합 모델과 같은 적응적 배경 모델링 기법 등의 다양한 주지된 배경 모델링 기법을 이용하여 배경을 추출하고, 추출된 배경을 기초로 이미지 프레임으로부터 전경 영역을 추출할 수 있다. The foreground
추출된 전경 영역에는 보행자 영역을 포함하여 다양한 잡음(noise), 홀(hole) 등이 포함될 수 있는데, 이 경우에 팽창(dilation), 침식(erosion)과 같은 화상 변형을 반복하면 노이즈를 제거하고 좀더 정확하게 보행자 영역을 전경 영역으로서 추출할 수 있다.The extracted foreground area may include various noise, holes, etc. including a pedestrian area. In this case, repeating the image deformation such as dilation and erosion may remove the noise, It is possible to accurately extract the pedestrian area as the foreground area.
모션 벡터 연산부(22)는 추출된 전경 영역들의 모션 벡터들을 예를 들어 루카스-카나데 알고리즘, 혼-슁크 알고리즘, 또는 국부-전역 결합(CLG) 알고리즘과 같은 주지의 광학적 흐름 알고리즘들을 이용하여 추출한다.The
실시예에 따라, 모션 벡터 연산부(22)는 바람직하게는 국부-전역 결합 알고리즘(CLG)을 이용함으로써, 루카스-카나데 알고리즘의 국부적인 성능 장점과 혼-슁크 알고리즘의 전역 성능 장점을 모두 얻을 수 있다.According to the embodiment, the
이미지 프레임을 직교 좌표 x, y와 시간 t의 함수로서 f(x, y, t)라고 표현할 경우에, CLG 알고리즘은 시간 t에서 다음 수학식 1의 함수를 최소화하는 광학적 흐름 필드(optical flow field) (u(x,y), v(x,y))T를 연산할 수 있다.When the image frame is expressed as f (x, y, t) as a function of the Cartesian coordinates x, y and time t, the CLG algorithm computes an optical flow field minimizing the function of
w는 w=(u(x,y), v(x,y), 1)T인 벡터 필드(vector field)이고, u(x,y)는 x축 방향의 속도, v(x,y)는 y 축 방향의 속도이다. 수학식 1의 적분 기호 안의 두 번째 항은 광학적 흐름의 평활화 제약 조건(smoothness constraint)으로서, ∇u는 x축 방향 속도의 공간적 경사도(spatial gradient), ∇v는 y축 방향 속도의 공간적 경사도이며, ∇3f는 그레이 스케일로 표현된 이미지 프레임의 시공간적 경사도(spatio-temporal gradient)이다. λ는 평활화 가설(smoothness assumption)의 상대적 중요성을 의미하는 가중치이다. 
수학식 1의 E(u,v)는 다음 수학식 3로 주어지는 오일러-라그랑제 등식(Euler-Lagrange Equations)의 해를 구함으로써 최소화된다.E (u, v) in Equation (1) is minimized by solving the Euler-Lagrange Equations given by Equation (3).
여기서, h는 직사각형 픽셀 그리드의 크기이고, ui와 vi는 각각 어떤 픽셀 i에서 u와 v의 근사치이다. Jmni는 픽셀 i의 구조 텐서 J의 (n, m) 성분들이고, R(i)는 픽셀 i의 주변 픽셀들의 집합이다.Where h is the size of the rectangular pixel grid, u i and v i are approximations of u and v at some pixel i, respectively. Jmni is the (n, m) components of the structure tensor J of pixel i, and R (i) is the set of surrounding pixels of pixel i.
모션 벡터 연산부(22)의 동작에 관한 수학식 1, 2 및 3에서 사용된 기호들은 원칙적으로 수학식 1, 2 및 3에서만 적용되며, 수학식 1, 2 및 3의 일부 기호가 다른 구성 요소들에서 일어나는 연산들의 기호와 동일한 외형을 가질 수 있지만 그렇더라도 각각의 수학적 의미는 수학식 1, 2 및 3에 관하여 정의된 바에 따른다는 점에 유의한다.The symbols used in equations (1), (2) and (3) concerning the operation of the motion vector calculator (22) are principally applied only in equations (1), (2) and , But each mathematical meaning is as defined with respect to equations (1), (2) and (3).
모션 벡터 방향 군집화부(23)는 추출된 모션 벡터들의 극좌표계 각도로 표현되는 이동 방향 성분들을 가우시안 혼합 모델을 이용하여 근사시킬 수 있는 가우시안 성분들을 산출하고, 산출된 가우시안 성분들을 예를 들어 군집의 개수가 미정인, 자가 조직 맵 알고리즘이나 순차 승자 군집화 알고리즘과 같은 주지의 군집화 알고리즘들을 이용하여 적어도 하나의 방향 군집들로 군집화할 수 있다.The motion vector
구체적으로, 이미지 프레임 내의 각 픽셀들 (x,y)의 광학적 흐름을 v(x,y)라 하면, 광학적 흐름 벡터는 다음 수학식 4와 같이 극좌표계 형식으로 표현될 수 있다.Specifically, if the optical flow of each pixel (x, y) in the image frame is v (x, y), the optical flow vector can be expressed in the polar coordinate system as shown in Equation (4).
방향 각도 성분 φ의 분포는 가우시안 혼합 모델을 이용하여 가우시안 성분들의 가중 혼합으로 근사화될 수 있는데, 방향 각도 성분 φ의 근사 가우시안 확률 분포는 실수 공간에서 다음 수학식 5와 같이 표현될 수 있다.The distribution of the directional angle component? Can be approximated by a weighted mixture of Gaussian components using a Gaussian mixture model. The approximate Gaussian probability distribution of the directional angle component? Can be expressed by the following equation (5) in real space.
여기서 p(φ|θm)는 m 번째 가우시안 기저 함수이고, αm은 혼합 계수(mixing coefficient)이며, θm은 m번째 성분의 파라미터 집합이고, M은 가우시안 기저 함수의 전체 개수이며, Ω는 가우시안 혼합 모델링에 필요한 모든 파라미터들의 전체 집합 {θ1, θ2, ..., θM, α1, α2, ..., αM }이다.Where m is the total number of Gaussian basis functions, and Ω is the total number of Gaussian basis functions, where p (φ | θ m ) is the mth Gaussian basis function, α m is the mixing coefficient, θ m is the parameter set of the m th component, total of all the parameters required for Gaussian mixture modeling set is {θ 1, θ 2, ... , θ M,
수학식 5는 이미지 프레임 내의 전체 모션 벡터들 중에 방향 각도 φ을 가지는 모션 벡터들의 확률 분포를 M 개의 가우시안 기저 함수들의 가중 혼합으로써 근사적으로 표현하는 것을 의미한다.Equation (5) implies that the probability distribution of motion vectors having a direction angle [phi] out of all the motion vectors in the image frame is approximated by a weighted mixture of M Gaussian basis functions.
이때, p(φ|Ω)은 확률 값이므로, αm은 다음 수학식 6의 조건을 만족하여야 한다.In this case, since p (? |?) Is a probability value,? M must satisfy the following Equation (6).
또한, m 번째 가우시안 성분 p(φ|θm)은 다음 수학식 7과 같은 평균 μm과 분산 σm을 가지는 정규 확률 분포 함수이다.The mth Gaussian component p (φ | θ m ) is a normal probability distribution function having an average μ m and a variance σ m as shown in the following Equation (7).
Ω≡{θ1, θ2, ..., θM, α1, α2, ..., αM }을 추정하기 위해 EM(Expectation-Maximization) 알고리즘이 이용될 수 있다. M은 예를 들어 8로 주어질 수 있는데, 이 경우, 8 개의 평균 μ과 8 개의 가중치 α의 쌍이 특정된다.An Expectation-Maximization (EM) algorithm can be used to estimate Ω≡ {θ 1 , θ 2 , ..., θ M , α 1 , α 2 , ..., α M }. M can be given, for example, 8, where a pair of eight mean [mu] and eight weights [alpha] are specified.
이러한 모션 벡터들의 군집화를 설명하기 위해 도 2를 참조하면, 도 2는 본 발명의 일 실시예에 따른 이동 방향별 보행자 계수 장치의 방향 분할 모듈이 모션 벡터들을 군집화하는 과정을 설명하기 위해 예시한 도면으로서, 좌상부터 시계방향으로 각각, 원본 이미지 프레임, 원본으로부터 추출된 모션 벡터들, 모션 벡터들의 방향 각도 값들의 빈도수를 0 도에서 360 도까지의 스케일 상에 분포시킨 히스토그램 및 8 개의 평균-가중치 쌍에 관한 가우시안 혼합 모델 표현 다이어그램이다.2 is a block diagram illustrating a process of clustering motion vectors by a direction division module of a pedestrian counting device according to an embodiment of the present invention. Referring to FIG. 2, A histogram in which the frequency of the original image frame, the motion vectors extracted from the original, and the direction angle values of the motion vectors are distributed on a scale from 0 to 360 degrees, and eight average-weight pairs Is a Gaussian mixed model representation diagram.
모션 벡터 방향 군집화부(23)는, 실시예에 따라 광학적 흐름 알고리즘으로부터 산출되는 많은 수의 모션 벡터들의 방향 각도 값들 자체를 군집화할 수도 있지만, 연산량을 줄이기 위해, 바람직하게는, 모션 벡터들의 방향 각도들에 대해 근사적으로 산출된 M 개의 가우시안 성분들을 군집화한다. 따라서, 모션 벡터 방향 군집화부(23)는 매우 적은 연산량으로 보행자들의 이동 방향을 M 개 이하의 이동 방향 기준들을 가지고 개략적으로 분류할 수 있다.The motion vector
보행자들의 이동 방향이 몇 개의 군집으로 군집화될 수 있을지 사전에 알지 못하므로, 모션 벡터 방향 군집화부(23)는 군집의 개수를 사전에 정하지 않고 군집화하는 자가 조직 맵 알고리즘이나 순차 승자 군집화 알고리즘과 같은 주지의 군집화 알고리즘들을 이용하여 적어도 하나의 방향 군집으로 군집화할 수 있다.Since the motion vector
예를 들어, 순차 승자 군집화 알고리즘을 이용하는 경우에, 최초에 첫 번째 가우시안 성분이 최초 군집을 이루고, 이어서 입력되는 다음 가우시안 성분들의 각각은 기존의 군집들의 중심과 사이의 거리 함수 값이 문턱값 이하이면 그러한 거리 함수 값이 최소인 기존의 군집에 추가되고, 그렇지 않으면 새로운 군집을 생성하는 방식으로, M 개 가우시안 성분들의 군집화가 매우 신속하게 수행된다.For example, in the case of using a sequential winner clustering algorithm, the first Gaussian component first constitutes the initial cluster, and each of the following Gaussian components inputted subsequently is a value of the distance function between the center of existing clusters and the value of the distance function is less than the threshold value Clustering of the M Gaussian components is performed very quickly in such a way that such distance function values are added to existing clusters that are minimal, or otherwise generate new clusters.
마지막으로, 전경 영역 분할부(24)는 동일한 방향 군집에 속하는 모션 벡터들을 가지는 전경 영역 픽셀들을 각각 집결하여, 전체 전경 영역들을 모션 벡터 방향 군집의 개수와 동일한 개수의 방향별 전경 영역 집합들로 분할한다.Finally, the foreground region dividing unit 24 collects the foreground region pixels having the motion vectors belonging to the same direction cluster, divides the whole foreground regions into the same number of foreground region sets per direction as the number of motion vector direction clusters do.
좀더 구체적으로, 전경 영역 분할부(24)는 동일한 방향 군집에 속하는 적어도 하나의 가우시안 성분에 상응하는 모션 벡터 방향 각도 값들을 가지는 전경 영역 픽셀들을 집결한다. 따라서, 각 방향 군집마다 집결된 전경 영역 픽셀들은 방향 군집 Ci의 수와 동일한 개수의 방향별 전경 영역 집합 Ri을 구성한다.More specifically, the foreground region dividing unit 24 collects foreground region pixels having motion vector direction angle values corresponding to at least one Gaussian component belonging to the same direction cluster. Therefore, the foreground area pixels gathered for each directional cluster constitute a set of foreground foreground areas Ri for the same number of directions as the number of directional clusters Ci.
이러한 방향별 전경 영역 집합을 설명하기 위해 도 3을 참조하면, 도 3은 본 발명의 일 실시예에 따른 이동 방향별 보행자 계수 장치의 방향 분할 모듈에서, 원본, 전경 영역, 추출된 모션 벡터들 및 이동 방향별로 분류된 전경들을 예시한 예제들이다.3 is a block diagram of a directional division module of a pedestrian counter device according to an embodiment of the present invention. The directional division module includes an original, a foreground region, extracted motion vectors, These are examples illustrating the views grouped by direction of movement.
도 3에서, 좌상부터 시계방향으로 각각, 원본 이미지 프레임, 원본에서 추출된 전경 영역 픽셀들, 모션 벡터들 및 분할된 방향별 전경 영역 집합들이 예시되어 있다.In Fig. 3, the original image frame, the foreground area pixels extracted from the original, the motion vectors, and the divided foreground foreground area sets are illustrated in the clockwise direction from upper left to upper right, respectively.
특히 도 3의 우하 도면에서, 전체 전경 영역은 이미지의 한 가운데에서 우상 방향으로 움직이는 사람에 관한 전경 영역 집합과, 이미지 우반부에서 좌측으로 움직이는 세 사람에 관한 전경 영역 집합으로 분할된다.In particular, in the lower right drawing of Fig. 3, the entire foreground region is divided into a foreground region set relating to a person moving from the center to the upper right of the image and a foreground region set relating to three persons moving to the left from the image right side.
이렇게 하여, 방향 분할 모듈(20)은 이미지 프레임으로부터 추출된 전경 영역들의 모션 벡터들을 이동 방향을 기준으로 한 적어도 하나의 방향 군집으로 군집화하고, 각 방향 군집들에 속하는 모션 벡터들을 가지는 전경 영역 픽셀들을 집결하여 전체 전경 영역을 방향별 전경 영역 집합들로 분할한다.In this way, the
이어서, 보행자 계수 모듈(30)은 특징점 추출부(31), 주성분 분석부(32) 및 보행자 계수부(33)를 포함할 수 있다.Next, the
보행자 계수 모듈(30)은 학습용 이미지 프레임으로부터 추출된 전경 영역들의 특징점 개수 성분과, 주성분 분석 알고리즘에 의해 통계적 특징 벡터들 중에서 선정되는 적어도 하나의 통계적 특징 주성분 및 주어진 학습용 이미지 내의 보행자 수에 기초하여 주지의 학습 기법에 따라 학습 모델을 구축하고, 입력되는 전체 이미지 프레임 내의 보행자들을 학습된 학습 모델에 의해 계수한다.The
좀더 구체적으로, 보행자 계수 모듈(30)의 특징점 추출부(31)는 방향 분할 모듈(20)에서 추출된 전경 영역으로부터 예를 들어 SURF, SIFT, 해리스 코너 검출기, 포스트너 검출기, 카나데-루카스-토마시 알고리즘과 같은 주지의 특징점 추출 알고리즘들을 이용하여 특징점들을 추출한다.More specifically, the feature
도 4는 본 발명의 일 실시예에 따른 이동 방향별 보행자 계수 장치의 보행자 계수 모듈에서 추출된 특징점들을 예시한 예제이다.FIG. 4 illustrates an example of minutiae extracted from a pedestrian coefficient module of a pedestrian counting device according to an embodiment of the present invention.
도 4를 참조하면, SURF 알고리즘에 의한 특징점들은 주로 보행자들의 얼굴, 팔다리의 끝 부분에서 추출되는 것을 알 수 있다.Referring to FIG. 4, it can be seen that the feature points by the SURF algorithm are mainly extracted from the faces of the pedestrians and the ends of the limbs.
보행자 한 명당 3~5 개의 특징점들이 추출되므로, 보행자의 수가 많으면 특징점들의 수도 늘어나게 된다.Since three to five feature points are extracted per pedestrian, the number of feature points is increased if the number of pedestrians is large.
도 5는 본 발명의 일 실시예에 따른 이동 방향별 보행자 계수 장치의 보행자 계수 모듈에서 추출된 특징점들의 개수와 수작업으로 계수한 보행자 수의 관계를 예시한 그래프이다.5 is a graph illustrating the relationship between the number of minutiae points extracted from the pedestrian coefficient module of the pedestrian counting device for each moving direction according to an embodiment of the present invention and the number of pedestrians counted by manual operation.
도 5를 참조하면, SURF 알고리즘에 의해 추출된 특징점들의 수와 수작업으로 계수된 보행자의 수 사이의 관계는 상당히 밀접한 것을 알 수 있다. 다만, 보행자 수가 적은 이미지에서는 특징점들의 수와 보행자들의 수 사이의 관계가 다소 적어질 수 있지만, 이는 후속하는 학습 모듈에서 학습에 의해 보완될 수 있다.Referring to FIG. 5, it can be seen that the relationship between the number of feature points extracted by the SURF algorithm and the number of pedestrians manually counted is very close. However, in an image with a small number of pedestrians, the relationship between the number of feature points and the number of pedestrians may be somewhat less, but this can be supplemented by learning in subsequent learning modules.
이어서, 주성분 분석부(32)는 전경 영역들과 보행자 수 사이의 통계적 관계를 나타내는 복수의 통계적 특징 성분들 중에서 주성분 분석(PCA)을 통해 적어도 하나의 통계적 특징 주성분을 선정한다.Next, the principal
통계적 특징 성분들은 예를 들어, 전경 영역들의 픽셀 개수 성분, 전경 영역들의 에지 픽셀 개수 성분, 전경 영역들의 텍스처 속성들, 즉 균질성(Homogeneity), 대비(Contrast), 에너지(Energy) 및 엔트로피(Entropy)을 포함할 수 있다.The statistical feature components include, for example, the pixel number component of the foreground regions, the edge pixel number component of the foreground regions, the texture properties of the foreground regions such as Homogeneity, Contrast, Energy and Entropy, . ≪ / RTI >
먼저, 도 3에서 알 수 있듯이, 전경 영역은 대체로 보행자들에 상응하는 픽셀들을 포함하기 때문에, 전경 영역의 면적, 즉 픽셀들의 수는 실제 보행자의 수나 각 보행자의 몸집과 상당한 관련성이 있을 것이고, 전경 영역의 경계선의 길이, 즉 에지 픽셀들의 수는 실제 보행자들의 수와 인체의 윤곽선 길이와 상당한 관련성이 있을 것임을 예상할 수 있다.3, since the foreground region generally includes pixels corresponding to pedestrians, the area of the foreground region, i.e., the number of pixels, will be significantly related to the number of actual pedestrians or the size of each pedestrian, It can be expected that the length of the boundary of the area, the number of edge pixels, will be significantly related to the number of actual pedestrians and the contour length of the human body.
실제로, 도 6 및 7을 참조하면, 도 6은 본 발명의 일 실시예에 따른 이동 방향별 보행자 계수 장치의 보행자 계수 모듈에서 전경 영역의 면적과 보행자 수 사이의 관계를 예시한 그래프이고, 도 7은 전경 영역의 경계선 길이와 보행자 수 사이의 관계를 예시한 그래프이다.6 and 7, FIG. 6 is a graph illustrating the relationship between the area of the foreground area and the number of pedestrians in the pedestrian coefficient module of the pedestrian counting device for each moving direction according to an embodiment of the present invention, and FIG. Is a graph illustrating the relationship between the length of the borderline in the foreground region and the number of pedestrians.
도 6 및 도 7은 2009년 제11회 IEEE PETS(Performance Evaluation of Tracking and Surveillance) 워크샵에서 배포된 샘플 데이터셋(PETS 2009)을 이용하여 얻은 상관 관계들을 나타낸다.Figures 6 and 7 illustrate correlations obtained using the sample data set (PETS 2009) distributed in the 11th IEEE Performance Appraisal of Tracking and Surveillance (PETS) workshop.
또한, 전경 영역의 텍스처 속성들(texture properties)은 2차 결합 조건부 확률 밀도 함수들(2nd-order joint conditional probability density functions)에 기반하는 GLDM(Gray Level Dependence Matrix)에 기초하여 획득될 수 있다.In addition, the texture properties of the foreground region can be obtained based on a GLDM (Gray Level Dependence Matrix) based on second-order joint conditional probability density functions.
특히, Haralick에 의해 제안된 네 가지 확산 지표들(spread indicators)인 균질성, 대비도, 에너지 및 엔트로피를 1 픽셀 거리 및 0도, 45도, 90도 및 135도의 네 방향 각도에 관하여 각각 정의함으로써, 총 16 가지 텍스처 속성들이 획득될 수 있다.In particular, by defining the four spread indicators proposed by Haralick, homogeneity, contrast, energy and entropy, with respect to four-pixel distances and four-angle angles of 0 degrees, 45 degrees, 90 degrees and 135 degrees, respectively, A total of 16 texture properties can be obtained.
이렇게 보행자 계수 모듈(30)은 전경 영역들의 픽셀 개수 성분, 에지 픽셀 개수 성분 및 16 가지 텍스처 속성들을 포함하여 총 18 종류의 통계적 특징 성분들을 이용할 수 있다.Thus, the
보행자 계수 모듈(30)은 이 18 가지의 통계적 특징 성분들을 모두 이용하는 대신에, 주성분 분석 기법을 통해 원데이터, 즉 여기서는 보행자 수에 상대적으로 큰 영향을 주는, 즉 상대적으로 강한 상관성을 가지는 적어도 하나의 특징 주성분을 선정한다.Instead of using all of the 18 statistical characteristic components, the
실제 이미지 프레임을 입력하기에 앞서, 보행자 계수 모듈(30)의 보행자 계수부(33)는 추출된 특징점들의 특징점 개수 성분, 통계적 특징 성분들 중에서 선정된 통계적 특징 주성분 및 주어진 학습용 이미지 내의 보행자 수에 기초하여 예를 들어 인공 신경망와 같은 주지의 학습 기법에 따라 학습시켜, 학습 모델을 구축할 수 있다.Prior to inputting the actual image frame, the
예를 들어 2 개의 입력 유닛과 50 개의 은닉 유닛들과 1 개의 출력 유닛을 가진 인공 신경망을 이용하여 학습 모델을 구축할 수 있다. 이러한 학습 모델은 2 개의 입력 유닛에 PES 2009 데이터 셋의 특징점 개수 성분과 선정된 통계적 특징 주성분, 예를 들어 전경 영역 픽셀 개수 성분을 입력받고, 주어진 보행자 수에 따라 학습될 수 있다.For example, a learning model can be constructed using an artificial neural network having two input units, fifty hidden units, and one output unit. This learning model can be trained according to the given number of pedestrians by receiving the number of feature points and the selected statistical feature principal component of the
이어서, 보행자 계수 모듈(30)의 보행자 계수부(33)는 입력된 이미지 프레임으로부터 추출된 특징점 개수 성분과 통계적 특징 주성분을 구축된 학습 모델에 인가하여, 전체 이미지 프레임 내의 보행자들을 계수한다.Then, the
다음으로, 방향별 보행자 계수 모듈(40)은 전체 이미지 프레임 내의 보행자 수와 전경 영역 전체 및 각 방향별 전경 영역 집합들의 관계에 기초하여 방향별 보행자들을 계수한다.Next, the directional
구체적으로, 방향별 보행자 계수 모듈(40)은 다음 수학식 8과 같이 방향 분할 모듈(20)에서 산출된 전경 영역 전체 면적에 대비한 방향별 전경 영역 집합 면적의 비율에 보행자 계수 모듈(30)에서 계수된 전체 이미지 프레임 내의 보행자 수를 승산하여, 방향별 보행자를 계수한다.Specifically, the directional
여기서, F(j)는 j 번째 프레임의 전경 영역 전체의 픽셀 수이고, Ri(j)는 j 번째 프레임의 i 번째 방향별 전경 영역 집합의 픽셀 수이다. 
도 8은 본 발명의 일 실시예에 따른 이동 방향별 보행자 계수 장치의 보행자 계수 모듈에서 계수된 보행자 수와 방향 분할 모듈에서 분류된 이동 방향별 전경 영역들에 기초하여 방향별 보행자 계수 모듈에서 판정한 이동 방향별 보행자들을 예시한 예제들이다.FIG. 8 is a graph showing a result obtained by multiplying the number of pedestrians counted by the pedestrian coefficient module of the pedestrian counting device according to an embodiment of the present invention and the number of pedestrians counted by the directional pedestrian coefficient module Examples of pedestrians by direction of movement.
도 8을 참조하면, 다양한 배경과 상황에서 획득된 이미지 프레임들에서 서로 다른 방향으로 이동하는 보행자들에 대해, 전경 영역들이 서로 다른 이동 방향별로 서로 다른 색상이나 명암으로 표현되고 또한 계수되어 있다.Referring to FIG. 8, for the pedestrians moving in different directions in image frames obtained in various backgrounds and situations, the foreground regions are represented by different colors or shades for different directions of movement and are also counted.
예를 들어, 좌측 하단의 예제에서, 수직선을 기준으로 시계 방향인 방향 각도 27도로 대표되는 이동 방향으로 1 명, -86도로 대표되는 이동 방향으로 2명, 176도로 대표되는 이동 방향으로 3명이 계수된다.For example, in the example in the lower left corner, one person in the moving direction represented by the clockwise direction angle of 27 degrees relative to the vertical line, two persons in the moving direction represented by -86 degrees, and three persons in the moving direction represented by 176 degrees do.
예를 들어, 우측 하단의 예제에서, 방향 각도 86도로 대표되는 이동 방향으로 1 명, 173도로 대표되는 이동 방향으로 2명, -51도로 대표되는 이동 방향으로 2명, 6도로 대표되는 이동 방향으로 28명이 계수된다.For example, in the example at the bottom right, one person in the moving direction represented by the
도 9는 예제 동영상들에 대해 본 발명의 일 실시예에 따른 이동 방향별 보행자 계수 장치를 통해 계수된 보행자 수와 수작업으로 계수된 보행자 수를 비교한 그래프들이다.FIG. 9 is a graph comparing the number of pedestrians counted by the pedestrian counting device according to one embodiment of the present invention and the number of pedestrians counted by hand for the example videos.
각 그래프에서, 수작업으로 계수된 보행자 수는 시간축 상에서 상대적으로 덜 변동하는 선으로 표시되고 본 발명에 따라 계수된 보행자 수는 상대적으로 자주 변동하는 선으로 표시되어 있다. 전체적으로 본 발명에 따라 계수된 보행자 수는 실제 보행자 수를 상당히 양호하게 추종하고 있음을 알 수 있다.In each graph, the manually counted number of pedestrians is represented by relatively less varying lines on the time axis, and the number of pedestrians counted according to the invention is marked by relatively frequently varying lines. Overall, it can be seen that the number of pedestrians counted according to the present invention follows the actual number of pedestrians fairly well.
도 10은 본 발명의 일 실시예에 따른 이동 방향별 보행자 계수 방법을 예시한 순서도이다.10 is a flowchart illustrating a pedestrian counting method according to a moving direction according to an embodiment of the present invention.
본 발명의 이동 방향별 보행자 계수 방법은 단계(S101)에서 이미지 프레임으로부터 전경 영역들을 추출하는 단계로부터 시작할 수 있다.The pedestrian counting method according to the moving direction of the present invention may start from extracting the foreground regions from the image frame in step S101.
예를 들어 차영상 기법, 배경 모델링 기법 또는 가우시안 혼합 모델과 같은 적응적 배경 모델링 기법 등의 다양한 주지된 배경 모델링 기법을 이용하여 배경이 추출되면, 추출된 배경을 기초로 이미지 프레임으로부터 전경 영역을 추출할 수 있다.For example, if a background is extracted using various known background modeling techniques such as a difference image technique, a background modeling technique, or an adaptive background modeling technique such as a Gaussian mixture model, a foreground region is extracted from an image frame based on the extracted background can do.
이어서, 단계(S102)에서, 추출된 전경 영역들의 모션 벡터들을 예를 들어 루카스-카나데 알고리즘, 혼-슁크 알고리즘, 또는 국부-전역 결합 알고리즘과 같은 주지의 광학적 흐름 알고리즘들을 이용하여 추출한다.Then, in step S102, the motion vectors of the extracted foreground regions are extracted using well-known optical flow algorithms such as, for example, a Lucas-Kanade algorithm, a hone-shink algorithm, or a local-global combination algorithm.
단계(S103)에서, 추출된 모션 벡터들의 극좌표계 각도로 표현되는 이동 방향 성분들을 적어도 하나의 방향 군집들로 군집화할 수 있다.In step S103, movement direction components expressed by polar coordinate angles of the extracted motion vectors may be grouped into at least one direction clusters.
실시예에 따라, 이동 방향 성분들을 가우시안 혼합 모델을 이용하여 근사시킬 수 있는 가우시안 성분들을 산출하고, 산출된 가우시안 성분들을 군집의 개수가 미정인 상태로 개시되는 자가 조직 맵 알고리즘이나 순차 승자 군집화 알고리즘과 같은 주지의 군집화 알고리즘들을 이용하여 모션 벡터들을 적어도 하나의 방향 군집으로 군집화할 수 있다.According to an embodiment, Gaussian components that can approximate movement direction components using a Gaussian mixture model are calculated, and the calculated Gaussian components are calculated using a self organization map algorithm or a sequential winner clustering algorithm The same well-known clustering algorithms can be used to cluster motion vectors into at least one directional cluster.
단계(S104)에서, 동일한 방향 군집에 속하는 모션 벡터들을 가지는 전경 영역 픽셀들을 각각 집결하여, 전체 전경 영역들을 방향 군집의 개수와 동일한 개수의 방향별 전경 영역 집합들로 분할한다.In step S104, foreground area pixels having motion vectors belonging to the same direction cluster are respectively collected, and the whole foreground areas are divided into the same number of foreground area sets as the number of directional clusters.
실시예에 따라, 방향별 전경 영역 집합들은 동일한 방향 군집에 속하는 가우시안 성분들에 상응하는 모션 벡터들을 가지는 전경 영역 픽셀들을 각각 집결시켜 생성될 수 있다.According to an embodiment, foreground foreground area sets by direction may be generated by respectively aggregating foreground area pixels having motion vectors corresponding to Gaussian components belonging to the same directional cluster.
단계(S105)에서, 특징점 개수 성분 및 통계적 특징 주성분에 기초한 학습 모델로써 이미지 프레임의 전체 보행자들을 계수한다.In step S105, the entire pedestrian of the image frame is counted as a learning model based on the feature point number component and the statistical feature principal component.
구체적으로는, 특징점 개수 성분 및 통계적 특징 주성분에 기초하여 보행자를 계수하도록 구축된 학습 모델에 이미지 프레임을 인가하여, 이미지 프레임 전체의 보행자들을 계수한다.Specifically, an image frame is applied to a learning model constructed so as to count pedestrians based on the feature point number component and the statistical feature principal component, thereby counting the pedestrians of the entire image frame.
학습 모델은 학습용 이미지 프레임으로부터 추출된 전경 영역들의 특징점 개수 성분과, 주성분 분석 알고리즘에 의해 통계적 특징 벡터들 중에서 선정되는 적어도 하나의 통계적 특징 주성분 및 주어진 학습용 이미지 내의 보행자 수에 기초하여 구축될 수 있다. The learning model can be constructed based on the feature point number component of the foreground regions extracted from the training image frame and at least one statistical feature principal component selected from the statistical feature vectors by the principal component analysis algorithm and the number of pedestrians in the given learning image.
구축된 학습 모델에 이미지 프레임을 입력하였을 때에 학습 모델로부터 출력되는 보행자 수가 입력 이미지 프레임 전체에서 계수된 보행자 수라고 할 수 있다.The number of pedestrians output from the learning model when the image frame is input to the constructed learning model is the number of pedestrians counted in the entire input image frame.
구체적으로, 특징점들은 전경 영역으로부터 예를 들어 SURF, SIFT, 해리스 코너 검출기, 포스트너 검출기, 카나데-루카스-토마시 알고리즘과 같은 주지의 특징점 추출 알고리즘들을 이용하여 추출될 수 있다.Specifically, the feature points can be extracted from the foreground region using known feature point extraction algorithms such as SURF, SIFT, Harris corner detector, Postner detector, Kanade-Lucas-Thoma algorithm.
이어서, 전경 영역들과 보행자 수 사이의 통계적 관계를 나타내는 복수의 통계적 특징 성분들 중에서 주성분 분석(PCA)을 통해 선정된 적어도 하나의 통계적 특징 주성분이 산출될 수 있다.Then, at least one statistical feature principal component selected through principal component analysis (PCA) may be calculated from among a plurality of statistical feature components representing a statistical relationship between the foreground regions and the number of pedestrians.
통계적 특징 성분들은 예를 들어, 전경 영역들의 픽셀 개수 성분, 전경 영역들의 에지 픽셀 개수 성분, 전경 영역들의 텍스처 속성들, 즉 균질성, 대비도, 에너지 및 엔트로피를 포함할 수 있고, 픽셀 거리 및 각도 별로 여러 벌의 텍스처 속성들이 이용될 수 있다.The statistical feature components may include, for example, the pixel number component of the foreground regions, the edge pixel number component of the foreground regions, the texture properties of the foreground regions, i.e., homogeneity, contrast, energy and entropy, Several texture properties can be used.
단계(S106)에서, 이미지 프레임의 전체 보행자 수와 전경 영역 전체 및 각 방향별 전경 영역 집합들의 관계에 기초하여 방향별 보행자들을 계수한다.In step S106, directional pedestrians are counted based on the total number of pedestrians of the image frame, the entire foreground area, and the relationship of foreground area sets by each direction.
구체적으로 전경 영역을 방향별로 분할하고, 전체 전경 영역 중 각 방향별로 분할된 방향별 전경 영역들의 각각의 비율에 따라, 산출된 전체 보행자 중에서 각 방향별 전경 영역 내에 보행자가 몇 명이 있을지 추정할 수 있다.Specifically, it is possible to estimate how many pedestrians are present in the foreground region of each direction among the calculated pedestrians according to the ratio of each of the foreground regions according to directions divided for each direction among the entire foreground regions .
좀더 구체적으로, 방향별 보행자는 산출된 전경 영역 전체 면적에 대비한 방향별 전경 영역 집합 면적의 비율에 보행자 계수 모듈(30)에서 계수된 전체 이미지 프레임 내의 보행자 수를 승산하여 계수될 수 있다.More specifically, the directional pedestrian can be counted by multiplying the ratio of the total area of foreground area by direction relative to the total area of the calculated foreground area by the number of pedestrians in the total image frame counted by the
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명이 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이와 균등하거나 또는 등가적인 변형 모두는 본 발명 사상의 범주에 속한다 할 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, Modification is possible. Accordingly, the spirit of the present invention should be understood only in accordance with the following claims, and all of the equivalent or equivalent variations will fall within the scope of the present invention.
또한, 본 발명에 따른 장치는 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 기록매체의 예로는 ROM, RAM, 광학 디스크, 자기 테이프, 플로피 디스크, 하드 디스크, 비휘발성 메모리 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.Further, the apparatus according to the present invention can be implemented as a computer-readable code on a computer-readable recording medium. A computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored. Examples of the recording medium include a ROM, a RAM, an optical disk, a magnetic tape, a floppy disk, a hard disk, a nonvolatile memory, and the like, and a carrier wave (for example, transmission via the Internet). The computer-readable recording medium may also be distributed over a networked computer system so that computer readable code can be stored and executed in a distributed manner.
10 이동 방향별 보행자 계수 장치
20 방향 분할 모듈
21 전경 영역 추출부
22 모션 벡터 연산부
23 모션 벡터 방향 군집화부
24 전경 영역 분할부
30 보행자 계수 모듈
31 특징점 추출부
32 주성분 분석부
33 보행자 계수부
40 방향별 보행자 계수 모듈10 Pedestrian counting device by moving direction
20 Direction Split Module
21 Foreground area extractor
22 motion vector operation unit
23 motion vector direction clustering unit
24 foreground area division installment
30 Pedestrian counting module
31 feature point extracting unit
32 Principal component analysis section
33 Pedestrian counting section
40 directional pedestrian coefficient module
Claims (11)
적어도 상기 입력 이미지 프레임으로부터 추출된 전경 영역들의 특징점 개수 성분에 기초하여 전체 보행자들을 계수하는 보행자 계수 모듈; 및
상기 입력 이미지 프레임 내의 전체 보행자 수와 전경 영역 전체 및 각 방향별 전경 영역 집합들의 관계에 기초하여 방향별 보행자들을 계수하는 방향별 보행자 계수 모듈을 포함하는 이동 방향별 보행자 계수 장치.The motion vectors of the foreground regions extracted from the input image frame are grouped into at least one directional cluster based on the moving direction and the foreground region pixels having the motion vectors belonging to each directional cluster are gathered so that the entire foreground region is divided into at least one direction A direction partitioning module for dividing the image into a plurality of star foreground area sets;
A pedestrian counting module for counting all pedestrians based on at least the feature point number components of the foreground regions extracted from the input image frame; And
And a directional pedestrian counting module for counting pedestrians based on the total number of pedestrians in the input image frame, the entire foreground area, and the relation of foreground area sets by each direction.
상기 입력 이미지 프레임으로부터 추출된 전경 영역들의 특징점 개수 성분 및 통계적 특징 벡터들을 모두 이용하여, 또는
상기 입력 이미지 프레임으로부터 추출된 전경 영역들의 특징점 개수 성분 및 통계적 특징 벡터들 중에서 주성분 분석 알고리즘에 의해 선정되는 적어도 하나의 통계적 특징 주성분에 기초하여 보행자들을 계수하도록 동작하는 것을 특징으로 하는 이동 방향별 보행자 계수 장치.The method of claim 1, wherein the pedestrian coefficient module
Using both the feature point number components and the statistical feature vectors of the foreground regions extracted from the input image frame, or
And counting pedestrians based on at least one statistical feature principal component selected by a principal component analysis algorithm from feature point number components and statistical feature vectors of foreground regions extracted from the input image frame. Device.
산출된 전경 영역의 전체 면적에 대비한 방향별 전경 영역 집합들 각각의 면적의 비율에 상기 입력 이미지 프레임 내의 전체 보행자 수를 승산하여, 방향별 보행자를 계수하도록 동작하는 것을 특징으로 하는 이동 방향별 보행자 계수 장치.The method according to claim 1, wherein the directional pedestrian coefficient module comprises:
And counts the number of pedestrians by the direction by multiplying the ratio of the area of each foreground area set by direction relative to the total area of the calculated foreground area by the total number of pedestrians in the input image frame. Counting device.
상기 전경 영역들의 모션 벡터들을 추출하는 단계;
추출된 모션 벡터들의 극좌표계 각도로 표현되는 이동 방향 성분들을 적어도 하나의 방향 군집들로 군집화하는 단계;
각 방향 군집에 속하는 모션 벡터들을 가지는 전경 영역 픽셀들을 집결하여 전체 전경 영역을 적어도 하나의 방향별 전경 영역 집합들로 분할하는 단계;
적어도 상기 입력 이미지 프레임으로부터 추출된 전경 영역들의 특징점 개수 성분에 기초하여 전체 보행자들을 계수하는 단계; 및
상기 입력 이미지 프레임 내의 보행자 수와 전경 영역 전체 및 각 방향별 전경 영역 집합들의 관계에 기초하여 방향별 보행자들을 계수하는 단계를 포함하는 이동 방향별 보행자 계수 방법.Extracting foreground regions from an input image frame;
Extracting motion vectors of the foreground regions;
Clustering moving direction components represented by polar coordinate angles of the extracted motion vectors into at least one direction clusters;
Dividing foreground region pixels having motion vectors belonging to each direction cluster into at least one direction foreground region sets by direction;
Counting all pedestrians based on at least the feature point number components of the foreground regions extracted from the input image frame; And
Counting directional pedestrians based on the number of pedestrians in the input image frame, the entire foreground region, and the relationship of foreground region sets by each direction.
산출된 전경 영역의 전체 면적에 대비한 방향별 전경 영역 집합들 각각의 면적의 비율에 상기 입력 이미지 프레임 내의 전체 보행자 수를 승산하여, 방향별 보행자를 계수하는 단계를 포함하는 것을 특징으로 하는 이동 방향별 보행자 계수 방법.The method of claim 6, wherein the step of counting the pedestrians
And counting the number of pedestrians by the direction by multiplying the ratio of the area of each foreground area set by direction to the total area of the calculated foreground area by the total number of pedestrians in the input image frame. Star pedestrian counting method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140095846A KR101529620B1 (en) | 2014-07-28 | 2014-07-28 | Method and apparatus for counting pedestrians by moving directions |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140095846A KR101529620B1 (en) | 2014-07-28 | 2014-07-28 | Method and apparatus for counting pedestrians by moving directions |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR20130078389A Division KR101467360B1 (en) | 2013-07-04 | 2013-07-04 | Method and apparatus for counting pedestrians by moving directions |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20150005863A true KR20150005863A (en) | 2015-01-15 |
| KR101529620B1 KR101529620B1 (en) | 2015-06-22 |
Family
ID=52477422
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140095846A KR101529620B1 (en) | 2014-07-28 | 2014-07-28 | Method and apparatus for counting pedestrians by moving directions |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101529620B1 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104966305A (en) * | 2015-06-12 | 2015-10-07 | 上海交通大学 | Foreground detection method based on motion vector division |
| KR20180122081A (en) * | 2017-05-02 | 2018-11-12 | 이지환 | Safety system for pedestrian |
| KR20200077942A (en) * | 2018-12-21 | 2020-07-01 | 네이버랩스 주식회사 | Method and system for tracking object in video through prediction of future motion of object |
| KR102594435B1 (en) * | 2023-09-05 | 2023-10-27 | 비티에스 유한회사 | Artificial Intelligence-based disaster safety and crime prevention video surveillance system and Method thereof |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2484133B (en) * | 2010-09-30 | 2013-08-14 | Toshiba Res Europ Ltd | A video analysis method and system |
-
2014
- 2014-07-28 KR KR1020140095846A patent/KR101529620B1/en active IP Right Grant
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104966305A (en) * | 2015-06-12 | 2015-10-07 | 上海交通大学 | Foreground detection method based on motion vector division |
| CN104966305B (en) * | 2015-06-12 | 2017-12-15 | 上海交通大学 | Foreground detection method based on motion vector division |
| KR20180122081A (en) * | 2017-05-02 | 2018-11-12 | 이지환 | Safety system for pedestrian |
| KR20200077942A (en) * | 2018-12-21 | 2020-07-01 | 네이버랩스 주식회사 | Method and system for tracking object in video through prediction of future motion of object |
| KR102594435B1 (en) * | 2023-09-05 | 2023-10-27 | 비티에스 유한회사 | Artificial Intelligence-based disaster safety and crime prevention video surveillance system and Method thereof |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101529620B1 (en) | 2015-06-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106407946B (en) | Cross-line counting method, deep neural network training method, device and electronic equipment | |
| CN106778595B (en) | Method for detecting abnormal behaviors in crowd based on Gaussian mixture model | |
| US10346688B2 (en) | Congestion-state-monitoring system | |
| Pennisi et al. | Online real-time crowd behavior detection in video sequences | |
| US8340357B2 (en) | Moving object detection method and moving object detection apparatus | |
| CN110378259A (en) | A kind of multiple target Activity recognition method and system towards monitor video | |
| Saxena et al. | Crowd behavior recognition for video surveillance | |
| CN105405150B (en) | Anomaly detection method and device based on fusion feature | |
| JP7292492B2 (en) | Object tracking method and device, storage medium and computer program | |
| EP1801757A1 (en) | Abnormal action detector and abnormal action detecting method | |
| US10289884B2 (en) | Image analyzer, image analysis method, computer program product, and image analysis system | |
| TW200915196A (en) | Method for detecting water regions in video | |
| Favaretto et al. | Detecting crowd features in video sequences | |
| KR101529620B1 (en) | Method and apparatus for counting pedestrians by moving directions | |
| CN106570874A (en) | Image marking method combining local image constraint and overall target constraint | |
| KR101472674B1 (en) | Method and apparatus for video surveillance based on detecting abnormal behavior using extraction of trajectories from crowd in images | |
| Hu et al. | A novel approach for crowd video monitoring of subway platforms | |
| WO2009039350A1 (en) | System and method for estimating characteristics of persons or things | |
| US20230095533A1 (en) | Enriched and discriminative convolutional neural network features for pedestrian re-identification and trajectory modeling | |
| US20170053172A1 (en) | Image processing apparatus, and image processing method | |
| KR101467307B1 (en) | Method and apparatus for counting pedestrians using artificial neural network model | |
| KR101675692B1 (en) | Method and apparatus for crowd behavior recognition based on structure learning | |
| KR101467360B1 (en) | Method and apparatus for counting pedestrians by moving directions | |
| Ryan | Crowd monitoring using computer vision | |
| CN111160150A (en) | Video monitoring crowd behavior identification method based on depth residual error neural network convolution |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20180508 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20190104 Year of fee payment: 5 |