KR20200126233A - Self-Learning Apparatus for Real-Time Route Area and Method Thereof - Google Patents

Abstract

Embodiments of the present invention provide a self-learning method and device for an area of a path in real-time to enable self-learning for an area of a path in real-time through continuous autonomous management of an area of a path. The self-learning method creates movement path transactions of an object based on object metadata created by detecting motion of the object shown in the image, creates a single path based on a set of frequent items extracted based on a set of the movement path transactions, and creates an area of a path using the created single path.

Description

실시간 경로 영역 자기 학습 방법 및 장치 {Self-Learning Apparatus for Real-Time Route Area and Method Thereof}Self-Learning Apparatus for Real-Time Route Area and Method Thereof}

본 실시예가 속하는 기술 분야는 실시간 경로 영역 자기 학습 장치 및 방법에 관한 것이다.The technical field to which this embodiment belongs relates to a real-time path domain self-learning apparatus and method.

영상에서의 경로 영역 학습을 통해 해당 영상에 나타낸 객체들의 움직임에 레이블을 지정하여 객체의 이동 궤적을 압축하여 로깅할 수 있다. 또한 경로 영역 학습을 통해 객체의 향후 움직임을 예측하는데 사용할 수 있으며, 비정상적인 객체의 이동을 감지하는 데 사용할 수 있다.By learning a path region in an image, a label may be assigned to the movement of objects shown in the image, and the movement trajectory of the object may be compressed and logged. In addition, it can be used to predict the future motion of an object through path domain learning, and can be used to detect abnormal object movement.

경로 영역 학습이란 영상에 나타난 차량, 사물, 사람 등 객체들이 주로 이동하는 위치에 해당하는 화면 영역을 찾는 것이다. 고속도로를 촬영한 영상에서 차로에 해당하는 영역을 찾거나 공원, 광장 등을 촬영한 영상에서 사람들의 주요 이동경로에 해당하는 영역을 찾는 것이 그 예이다.Path area learning is to find a screen area corresponding to a location where objects such as vehicles, objects, and people appear in an image mainly move. An example is finding an area corresponding to a lane in an image of a highway or an area corresponding to a major movement route of people in an image of a park or a plaza.

주요 이동경로를 학습하면 영상에 나타난 객체들의 움직임을 예측할 수 있으며 이상 움직임을 보이는 객체를 찾아내는데 사용될 수 있다. 객체의 움직임을 기반으로 경로 영역을 모델링하여 경계가 없는 경로 영역도 학습이 가능했으나 이는 배치 처리 기반의 알고리즘으로 실시간 학습이 불가능하였다. 따라서, 객체의 움직임을 기반으로 실시간에 경로 영역을 자기 학습할 필요가 있다.By learning the main movement path, it is possible to predict the movement of objects displayed in the image and can be used to find objects showing abnormal movement. By modeling the path region based on the motion of the object, it was possible to learn the path region without boundaries, but it was impossible to learn in real time with a batch processing-based algorithm. Therefore, it is necessary to self-learn the path region in real time based on the motion of the object.

본 발명의 실시예들은 경로 영역의 지속적인 자율 관리를 통해 실시간 경로 영역 자기 학습을 가능하게 하는데 발명의 주된 목적이 있다.Embodiments of the present invention have a main object of the invention to enable real-time self-learning of a route domain through continuous autonomous management of a route domain.

본 발명의 명시되지 않은 또 다른 목적들은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론할 수 있는 범위 내에서 추가적으로 고려될 수 있다.Still other objects, not specified, of the present invention may be additionally considered within the range that can be easily deduced from the following detailed description and effects thereof.

본 실시예의 일 측면에 의하면, 컴퓨팅 디바이스에 의한 경로 영역 자기 학습 방법에 있어서, 영상에 나타난 객체의 움직임을 감지하여 형성한 객체 메타 데이터를 기반으로 상기 객체의 이동 경로를 트랜잭션으로 생성하는 단계 및 상기 트랜잭션의 데이터 세트에 대해 빈발 항목 집합 탐색 기법을 사용해 찾아진 빈발 항목 집합들 중 크기가 유효 길이 임계치 이상인 단일 경로들을 기반으로 경로 영역을 생성하는 단계를 포함하는 경로 영역 자기 학습 방법을 제공한다.According to an aspect of the present embodiment, in a method for self-learning a path region by a computing device, generating a movement path of the object as a transaction based on object metadata formed by detecting a motion of an object shown in an image, and the Provides a path domain self-learning method that includes generating a path domain based on single paths having a size equal to or greater than an effective length threshold among frequent item sets found using a frequent item set search technique for a transaction data set.

본 실시예의 다른 측면에 의하면, 영상에 나타난 객체의 움직임을 감지하여 형성한 객체 메타 데이터를 기반으로 상기 객체의 이동 경로를 트랜잭션으로 생성하는 이동 경로 생성부 및 상기 트랜잭션의 데이터 세트에 대해 빈발 항목 집합 탐색 기법을 사용해 찾아진 빈발 항목 집합들 중 크기가 유효 길이 임계치 이상인 단일 경로들을 기반으로 경로 영역을 생성하는 경로 영역 생성부를 포함하는 경로 영역 자기 학습 장치를 제공한다.According to another aspect of the present embodiment, a movement path generator that generates a movement path of the object as a transaction based on object metadata formed by detecting the movement of an object shown in an image, and a set of frequent items for the data set of the transaction A path region self-learning apparatus including a path region generator that generates a path region based on single paths having a size equal to or greater than an effective length threshold among frequent item sets found using a search technique is provided.

이상에서 설명한 바와 같이 본 발명의 실시예들에 의하면, 영상에 나타난 객체들의 움직임을 기반으로 경로 영역을 학습하며, 실시간에 지속적인 자율 관리가 가능함에 따라서 변화하는 경로 영역을 학습할 수 있다.As described above, according to the exemplary embodiments of the present invention, a path region is learned based on movements of objects displayed in an image, and a changing path region may be learned as continuous autonomous management is possible in real time.

단일 경로 탐색 시 길이가 짧은 빈발 항목 집합들은 객체 오감지에 의해 경로가 아닌 영역에서 발생하거나 두 개 이상의 경로에 공통으로 포함되는 경우로 이를 제외하고 경로 영역을 탐색함으로써 정확도를 향상시키고 연산량을 줄일 수 있는 효과가 있다. 또한, 경로 영역과 함께 출현 영역과 소멸 영역을 찾는 기능을 도입해 객체가 나타나고 사라지는 주요 위치를 찾을 수 있다.When searching for a single path, frequent item sets with a short length occur in an area other than a path due to object detection or are commonly included in two or more paths. Excluding this, search for a path area to improve accuracy and reduce the amount of computation. It works. In addition, it is possible to find the main locations where objects appear and disappear by introducing a function to find the appearance and disappearance areas along with the path area.

여기에서 명시적으로 언급되지 않은 효과라 하더라도, 본 발명의 기술적 특징에 의해 기대되는 이하의 명세서에서 기재된 효과 및 그 잠정적인 효과는 본 발명의 명세서에 기재된 것과 같이 취급된다.Even if it is an effect not explicitly mentioned herein, the effect described in the following specification expected by the technical features of the present invention and the provisional effect thereof are treated as described in the specification of the present invention.

도 1a 및 도 1b는 본 발명의 일 실시예에 따른 경로 영역 자기 학습 장치를 예시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 이동 경로 트랜잭션 생성을 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 단일 경로 유사도를 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따른 경로 영역 유사도를 나타내는 도면이다.
도 5는 본 발명의 일 실시예에 따른 분할 영역 크기에 따른 객체 이동 로그를 표현한 도면이다.
도 6a 및 도 6b는 본 발명의 일 실시예에 따른 경로 영역 자기 학습 방법을 예시한 흐름도이다.
도 7은 실시예들에서 사용되기에 적합한 컴퓨팅 디바이스를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도이다.
도 8은 본 발명의 일 실시예에 따른 실험 데이터의 영상 화면을 나타내는 예시도이다.
도 9는 본 발명의 일 실시예에 따른 분할 영역 크기 변화에 따른 경로 영역 탐지 결과를 나타내는 예시도이다.
도 10은 본 발명의 일 실시예에 따른 경로 유사 임계치에서 찾아진 경로 영역을 나타내는 예시도이다.
도 11은 본 발명의 일 실시예에 따른 고속도로 영상에서 출현 영역과 소멸 영역을 나타내는 예시도이다.
도 12는 본 발명의 일 실시예에 따른 광장 영상에서 출현 영역과 소멸 영역을 나타내는 예시도이다.1A and 1B are block diagrams illustrating a path domain self-learning apparatus according to an embodiment of the present invention.
2 is a diagram illustrating generation of a moving path transaction according to an embodiment of the present invention.
3 is a diagram illustrating a single path similarity according to an embodiment of the present invention.
4 is a diagram showing a similarity of a path region according to an embodiment of the present invention.
5 is a diagram illustrating an object movement log according to a divided area size according to an embodiment of the present invention.
6A and 6B are flowcharts illustrating a path domain self-learning method according to an embodiment of the present invention.
7 is a block diagram illustrating and describing a computing environment including a computing device suitable for use in embodiments.
8 is an exemplary view showing an image screen of experimental data according to an embodiment of the present invention.
9 is an exemplary diagram illustrating a path region detection result according to a change in a divided region size according to an embodiment of the present invention.
10 is an exemplary diagram illustrating a path region found at a path similarity threshold according to an embodiment of the present invention.
11 is an exemplary view showing an appearance area and an extinction area in an image of a highway according to an embodiment of the present invention.
12 is an exemplary view showing an appearance area and an extinction area in a square image according to an embodiment of the present invention.

이하, 본 발명을 설명함에 있어서 관련된 공지기능에 대하여 이 분야의 기술자에게 자명한 사항으로서 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하고, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다.Hereinafter, in describing the present invention, when it is determined that the subject matter of the present invention may be unnecessarily obscured as matters apparent to those skilled in the art with respect to known functions related to the present invention, a detailed description thereof is omitted, and some embodiments of the present invention It will be described in detail through exemplary drawings.

도 1a 및 도 1b는 경로 영역 자기 학습 장치를 예시한 블록도이다. 도 1a 및 도 1b에 도시한 바와 같이, 경로 영역 자기 학습 장치(10)는 분할 영역 크기 결정부(100), 이동 경로 생성부(200), 경로 영역 생성부(300) 및 출입 영역 학습부(400)를 포함한다. 경로 영역 자기 학습 장치(10)는 도 1에서 예시적으로 도시한 다양한 구성요소들 중에서 일부 구성요소를 생략하거나 다른 구성요소를 추가로 포함할 수 있다.1A and 1B are block diagrams illustrating a path domain self-learning apparatus. 1A and 1B, the path region self-learning device 10 includes a divided region size determination unit 100, a movement path generation unit 200, a path region generation unit 300, and an access region learning unit ( 400). The path domain self-learning apparatus 10 may omit some components or additionally include other components among the various components exemplarily illustrated in FIG. 1.

경로 영역 자기 학습 장치(10)는 실시간 영상의 메타 데이터에 대해 최적의 분할 영역 크기를 스스로 결정하고, 반복적으로 빈발 항목 집합 탐색을 기반으로 경로 영역을 자기 학습한다. 영상 메타 데이터는 영상에 나타난 객체들의 위치를 화면상의 좌표를 통해 표현한다.The path region self-learning apparatus 10 determines the optimal segmented region size for metadata of a real-time image by itself, and repeatedly self-learns the path region based on searching for frequent item sets. Image metadata expresses the positions of objects displayed in the image through coordinates on the screen.

경로 영역 자기 학습 장치(10)는 여러 객체들의 유사한 움직임에 대해 경로 영역을 자기 학습하기 위해 객체의 이동 경로 위치를 이산화기법을 통해 트랜잭션화하여 각 객체 별 이동 경로 트랜잭션을 생성하며, 이동 경로 트랜잭션 데이터 세트에 대해 빈발 항목 집합 탐색을 수행하고 유효 길이 임계치에 따라 단일 경로들을 찾는다. 단일 경로들은 객체가 주로 위치한 분할 영역의 집합을 의미하고 유사한 단일 경로들을 병합함으로써 경로 영역을 학습한다.The path domain self-learning device 10 creates a movement path transaction for each object by transacting the movement path location of an object through a discrete technique in order to self-learn the path domain for similar movements of several objects, and the movement path transaction data A set of frequent items is searched for the set and single paths are found according to the effective length threshold. Single paths mean a set of partitioned regions where an object is mainly located, and a path region is learned by merging similar single paths.

분할 영역은 판면을 구성할 때 쓰이는 가상의 격자 형태의 안내선을 나타내는 그리드로서, 수직과 수평으로 면이 분할될 수 있으나 반드시 이에 한정되는 것은 아니다.The divided area is a grid representing a guide line in the form of a virtual grid used when configuring a plate surface, and the surface may be divided vertically and horizontally, but is not limited thereto.

분할 영역 크기 결정부(100)는 복수의 분할 영역들 중 객체가 지나다니지 않은 분할 영역의 비율을 경로로 나타내는 경로 묘사율 및 객체가 지나가는 분할 영역의 개수에 대한 최소 지지도 이상인 분할 영역의 개수의 비율로 나타내는 빈발 분할 영역 탐색률을 기반으로 상기 분할 영역의 크기를 결정한다.The divided area size determination unit 100 includes a path description rate representing the ratio of the divided areas that the object does not pass through among the plurality of divided areas as a path, and the ratio of the number of divided areas greater than the minimum support to the number of divided areas through which the object passes. The size of the divided area is determined based on the search rate for the frequent divided area indicated by.

이동 경로 생성부(200)는 영상에 나타난 객체의 움직임을 감지하여 형성한 객체 메타 데이터를 기반으로 객체의 이동 경로를 트랜잭션으로 생성한다.The movement path generation unit 200 generates a movement path of an object as a transaction based on object metadata formed by sensing movement of an object displayed in an image.

경로 영역 생성부(300)는 단일 경로 탐색부(310) 및 단일 경로 병합부(320)를 포함한다.The path area generation unit 300 includes a single path search unit 310 and a single path merge unit 320.

경로 영역 생성부(300)는 이동 경로 트랜잭션의 집합을 기반으로 추출한 빈발 항목 집합들을 기반으로 단일 경로를 생성하고, 생성한 단일 경로를 이용하여 경로 영역을 생성한다.The path region generator 300 generates a single path based on frequent item sets extracted based on a set of moving path transactions, and generates a path region using the generated single path.

단일 경로 탐색부(310)는 빈발 항목 집합들 중 원소의 개수와 분할 영역의 개수와 상기 유효 길이 임계치의 곱을 비교하여 단일 경로들을 탐색한다.The single path search unit 310 searches for single paths by comparing the product of the number of elements and the number of divided regions among the frequent item sets and the effective length threshold.

단일 경로 병합부(320)는 단일 경로 유사도를 기반으로 단일 경로들 중 유사한 상기 단일 경로들을 병합한다. 단일 경로 유사도는 비교하는 두 개의 단일 경로에 대해 공유하고 있는 분할 영역의 개수를 각각 포함하는 분할 영역의 개수 중 작은 값으로 나누어 계산한다.The single path merging unit 320 merges similar single paths among single paths based on the single path similarity. The single path similarity is calculated by dividing the number of divided regions shared with respect to two single paths to be compared by a smaller value among the number of divided regions each including.

출입 영역 학습부(400)는 영상에서 경로 영역을 지나는 객체가 나타나고 사라지는 위치를 탐색하기 위해 영상의 출현 영역과 소멸 영역을 탐색한다. 출현 영역과 소멸 영역을 기반으로 감지된 객체를 선별하고 객체의 이동을 예측하거나 비정상적인 움직임을 보이는 객체를 찾는다.The access area learning unit 400 searches for an appearance area and an extinction area of an image in order to search for a location where an object passing through the path area appears and disappears in the image. It selects the detected object based on the appearance area and the disappearance area, predicts the movement of the object, or finds an object showing abnormal movement.

이하에서는 경로 영역 자기 학습 장치(10)가 형성하는 객체 이동 경로 트랜잭션 생성을 설명하기로 한다.Hereinafter, generation of an object movement path transaction formed by the path domain self-learning device 10 will be described.

객체 메타 데이터는 영상에 나타난 객체의 움직임을 감지해 생성한 데이터 이다. 영상의 매 프레임마다 감지된 객체의 위치 좌표를 포함하고 있으며 이는 영상 이미지에서 중앙점의 픽셀 위치를 의미하고 x축과 y축으로 표현된 직교 좌표계를 사용한다. 객체 메타 데이터의 객체 별 레코드 수는 객체가 영상에 나타난 프레임 수와 같으며 객체의 이동경로는 각 프레임에서의 객체의 위치좌표로 알 수 있다.Object metadata is data generated by detecting the motion of an object appearing in an image. Each frame of the image contains the position coordinates of the detected object, which means the pixel position of the center point in the image image, and uses a Cartesian coordinate system expressed by the x and y axes. The number of records for each object in object metadata is the same as the number of frames in which the object appears in the image, and the movement path of the object can be known by the position coordinates of the object in each frame.

영상의 위치 좌표계의 x축 값과 y축 값을 일정한 크기로 이산화하여 화면을 격자 형태로 분할한다. 분할 영역(G)는 분할된 격자 모양의 영역을 의미하며 |G|는 화면을 분할한 분할 영역의 총 개수를 의미한다. 객체 메타 데이터에서 객체의 위치 좌표 역시 이산화를 통해 분할 영역으로 치환될 수 있다. 따라서 객체 메타 데이터에서 위치좌표들로 표현되었던 객체의 이동경로를 해당 분할 영역들의 집합으로 표현할 수 있으며 이를 객체의 이동 경로 트랜잭션 T라고 하고 이동 경로 트랜잭션 Ti = {Gi1, Gi2, Gi3, ...}는 객체 Oi가 지나간 분할 영역들의 집합을 의미한다.The screen is divided into a grid by discretizing the x-axis and y-axis values of the image's position coordinate system into a certain size. The divided area (G) means a divided grid-shaped area, and |G| means the total number of divided areas by dividing the screen. The position coordinates of the object in the object metadata can also be replaced by a divided area through discretization. Therefore, the movement path of the object, which was expressed by position coordinates in the object metadata, can be expressed as a set of corresponding partitions, which is called the movement path transaction T of the object, and the movement path transaction Ti = {Gi1, Gi2, Gi3, ...} Denotes a set of partitioned regions that the object Oi has passed.

이하에서는 이동 경로 트랜잭션을 생성하는 것에 대해 설명하기로 한다. 도 2는 이동 경로 트랜잭션 생성을 나타내는 예시도이다.Hereinafter, generation of a movement path transaction will be described. 2 is an exemplary diagram showing generation of a moving route transaction.

도 2a는 객체 메타 데이터의 예시이며, 도 2b는 O1의 위치 좌표를 화면상에 표시한 것이다. 도 2에서 객체는 총 5프레임 동안 영상에 나타났으며 이는 5개의 객체 메타 데이터 레코드로 표현되었다. 도 2의 영상은 가로 50 세로 50의 화면이다.FIG. 2A is an example of object meta data, and FIG. 2B shows the position coordinates of O1 on the screen. In FIG. 2, an object appeared in the image for a total of 5 frames, which was expressed as 5 object metadata records. The image of FIG. 2 is a screen of 50 horizontally and 50 vertically.

도 2c는 객체의 이동 경로 각 좌표에 해당하는 분할 영역 영역을 표시한 것이다. 분할 영역은 가로 10 세로 10 크기로 화면 상에 총 25개의 분할 영역 영역이 존재한다. 객체는 5개의 프레임 동안 4개의 분할 영역을 지났고 해당 분할 영역들이 O1 의 이동 경로 트랜잭션의 항목이 된다. 객체는 302 분할 영역을 2개 프레임 동안 지나갔으나 이동 경로 트랜잭션에서는 다른 분할 영역들과 같이 한 개 항목으로 표현된다.2C shows a divided area area corresponding to each coordinate of a moving path of an object. The divided area is 10 horizontally and 10 vertically, and there are a total of 25 divided areas on the screen. The object has passed through 4 partitions in 5 frames, and the partitions become items of the O1 movement path transaction. The object passed through the 302 partition for two frames, but in the movement path transaction, it is expressed as one item like other partitions.

도 2d는 최종적으로 생성된 객체 O1의 이동 경로 트랜잭션 T1 이다. 원본 데이터에서 5개 레코드로 표현되었던 객체의 이동 경로가 4개 항목으로 이루어진 하나의 트랜잭션으로 표현되었다. 주어진 모든 객체 메타 데이터에서 각 객체 별 이동 경로 트랜잭션을 생성한다. 트랜잭션 데이터 세트 D = {T1, T2, T3, ..., Tn} 는 모든 객체들의 경로 트랜잭션들의 집합을 의미한다.2D is a movement path transaction T1 of the finally created object O1. The movement path of the object, which was expressed as 5 records in the original data, was expressed as a single transaction consisting of 4 items. Creates a movement path transaction for each object from all given object metadata. The transaction data set D = {T1, T2, T3, ..., Tn} means the set of path transactions of all objects.

객체 이동 경로 트랜잭션은 분할 영역 집합으로 표현되고 트랜잭션 데이터 세트에 대해 빈발 항목 집합 탐색을 수행한 결과 찾아지는 빈발 항목 집합은 객체 들이 주로 이동한 분할 영역들을 의미한다. The object movement path transaction is expressed as a partition set, and the frequent item set found as a result of performing a search for the frequent item set on the transaction data set refers to the partitions to which objects mainly moved.

경로 영역 자기 학습 장치(10)는 빈발 항목 집합의 탐색을 위해 FP-Growth 방법을 사용한다. FP-Growth 방법은 빈발 항목 집합 탐색 시에 후보 항목을 생성하지 않으며, 빈발 패턴 트리 (Frequent Pattern Tree,　FP-Tree)를 생성하게 된다. 빈발 항목 집합의 탐색을 위한 방법은 반드시 이에 한정되는 것은 아니며 Apriori 방법으로 대체될 수 있으며, 빈발 항목 집합을 탐색할 수 있는 또 다른 방법으로 대체될 수 있다. The path domain self-learning device 10 uses the FP-Growth method to search for a set of frequent items. The FP-Growth method does not generate candidate items when searching for a set of frequent items, but generates a frequent pattern tree (Frequent Pattern Tree, 　FP-Tree). The method for searching for the frequent item set is not necessarily limited thereto, and may be replaced by the Apriori method, and may be replaced by another method capable of searching for the frequent item set.

이동 경로 트랜잭션 데이터 세트에서 FP-Growth 방법을 적용해 찾아낸 빈발 항목 집합 중 1-항목 집합 혹은 2-항목 집합과 같이 포함하는 원소의 개수가 적은 빈발 항목 집합은 오감지에 의한 짧은 트랜잭션에 의해 생성되었거나 여러 경로 영역에 공통으로 포함되는 경우이다. 이런 빈발 항목 집합들은 구분 되는 경로 영역을 학습하는 데 정확도를 낮출 뿐만 아니라 불필요한 연산을 하게 되므로 적절한 길이 이상의 빈발 항목 집합만으로 경로 영역을 학습해야 한다. 따라서, 단일 경로(Single Route)는 다음과 같이 정의한다.Among the frequent item sets found by applying the FP-Growth method in the breadcrumb transaction data set, the frequent item set with a small number of elements, such as 1-item set or 2-item set, was created by a short transaction by five senses or multiple paths. This is the case that is commonly included in the area. These frequent item sets not only lower the accuracy in learning the path domain to be distinguished, but also perform unnecessary operations. Therefore, the path domain must be learned only with a set of frequent items having an appropriate length or more. Therefore, a single route is defined as follows.

상술한 수학식 1을 참조하면, P는 빈발 항목 집합 탐색 결과로 도출된 빈발 항목 집합들, |P|는 빈발 항목 집합들 중 원소의 개수, |G|는 전체 분할 영역 개수,

는 유효 길이 임계치를 의미한다.Referring to Equation 1 above, P is the frequent item sets derived from the search result of the frequent item set, |P| is the number of elements among the frequent item sets, |G| is the total number of partitions,

Means the effective length threshold.

단일 경로는 빈발 항목 집합 탐색 결과로 도출된 빈발 항목 집합들 중에서 빈발 항목 집합들 중 원소의 개수가 전체 분할 영역 개수와 유효 길이 임계치를 곱한 값보다 큰 항목 집합들이다. 경로 영역 자기 학습 알고리즘은 단일 경로를 대상으로 정확도를 높이고 불필요한 연산을 줄일 수 있다.Single paths are item sets in which the number of elements among frequent item sets among the frequent item sets derived as a result of searching for a frequent item set is greater than a value obtained by multiplying the total number of partitions and an effective length threshold. The path domain self-learning algorithm can increase accuracy and reduce unnecessary operations for a single path.

빈발 항목 집합 탐색으로 도출된 단일 경로들은 고속도로에서 차선 변경 혹은 추월, 도보에서 마주치는 사람을 피하기 위한 움직임 등을 의미하는 객체 움직임에 기반하여 탐색된다. 즉, 단일 경로들은 동일한 경로에 대한 여러 변형들로 볼 수 있다. 따라서 단일 경로들 중 유사한 단일 경로들을 병합함으로써 의미적으로 구별되는 경로 영역들을 찾을 수 있다. 이렇게 병합된 유사 단일 경로들의 집합을 경로 영역(R)이라고 정의한다.The single paths derived from the frequent item set search are searched based on object movement, which means a lane change or overtaking on a highway, or a movement to avoid a person encountered on foot. That is, single paths can be viewed as multiple variations of the same path. Accordingly, path regions that are semantically distinct can be found by merging similar single paths among single paths. A set of similar single paths merged in this way is defined as a path region (R).

유사한 단일 경로들을 병합하기 위해 우선 단일 경로 사이의 유사도를 정의 한다. 단일 경로 유사도(Single Route Similarity)는 다음과 같이 정의한다.To merge similar single paths, we first define the degree of similarity between single paths. Single Route Similarity is defined as follows.

상술한 수학식 2를 참조하면, P1 및 P2는 비교하고자 하는 단일 경로를 의미하며, P1은 제1 단일 경로, P2는 제2 단일 경로, |P1∩P2|는 제1 단일 경로 및 제2 단일 경로가 공유하고 있는 분할 영역의 개수를 의미한다.Referring to Equation 2 above, P1 and P2 denote a single path to be compared, P1 is a first single path, P2 is a second single path, and |P1∩P2| is a first single path and a second single path. Refers to the number of divided areas shared by the path.

단일 경로 유사도는 제1 단일 경로 및 제2 단일 경로가 공유하고 있는 분할 영역의 개수를 제1 단일 경로 및 제2 단일 경로가 각각 포함한 분할 영역 개수 중 작은 값으로 나눈 것을 의미한다.The single path similarity means that the number of divided regions shared by the first single path and the second single path is divided by a smaller value among the number of divided regions each included in the first single path and the second single path.

이하에서는 단일 경로 유사도에 대해 설명하기로 한다. 도 3는 단일 경로 유사도를 나타내는 도면이다.Hereinafter, a single path similarity will be described. 3 is a diagram showing a single path similarity.

도 3을 참조하면, 제1 단일 경로는 P1 = {202, 302, 403, 503}이고, 제2 단일 경로는 P2 = {102, 202, 302, 303, 403}이다. 이 때 두 단일 경로가 공유하는 분할 영역은 P1∩P2 = {202, 302, 403} 이고, 두 단일 경로가 포함하는 분할 영역의 수는 각각 |P1| = 5, |P2| = 4 이다.Referring to FIG. 3, a first single path is P1 = {202, 302, 403, 503}, and a second single path is P2 = {102, 202, 302, 303, 403}. At this time, the partitions shared by the two single paths are P1∩P2 = {202, 302, 403}, and the number of partitions included by the two single paths is |P1| = 5, |P2| = 4

따라서, 상술한 수학식 2에 상기 값들을 대입하면 두 단일 경로 간의 유사도는 0.75이다.Therefore, if the values are substituted in Equation 2, the similarity between the two single paths is 0.75.

경로 영역은 유사한 단일 경로들의 집합이다. 유사한 단일 경로들을 점진적으로 병합함으로써 경로 영역을 찾을 수 있다. 따라서 경로 영역 R과 단일 경로 P 간의 병합을 판단하기 위해 경로 영역과 단일 경로 간의 유사도를 구해야한다. 경로 영역 유사도(Route Area Similarity)는 다음과 같이 정의한다.A path domain is a set of similar single paths. Path regions can be found by gradually merging similar single paths. Therefore, in order to determine the merging between the path region R and the single path P, the similarity between the path region and the single path must be obtained. Route Area Similarity is defined as follows.

상술한 수학식 3을 참조하면, 경로 영역 유사도는 경로 영역에 포함되어 있는 단일 경로들과 병합 판단 대상인 단일 경로 간의 유사도들의 평균으로 구할 수 있으며, R은 경로 영역을 의미한다.Referring to Equation 3 above, the similarity of the path region can be obtained as an average of the similarities between single paths included in the path region and a single path to be merged, and R denotes a path region.

이하에서는 경로 영역 유사도에 대해 설명하기로 한다. 도 4는 경로 영역 유사도를 나타내는 도면이다.Hereinafter, the similarity of the path region will be described. 4 is a diagram showing a similarity of a path region.

도 4에서 경로 영역 R은 제1 단일 경로 P1 과 제2 단일 경로 P2를 이미 포함하고 있다. 이때 경로 영역 R과 제3 단일 경로 P3 = {202, 302, 402, 503} 간의 경로 영역 유사도는 수학식 3을 참조하여 구할 수 있다. 상술한 수학식 3에 상기 값들을 대입하면 경로 영역 유사도는 0.625이다. 이렇게 구한 경로 영역 유사도는 경로 영역과 단일 경로 간 병합 시 사용된다. 단일 경로 병합(Single Route Merge)은 다음과 같이 정의할 수 있다.In FIG. 4, the path region R already includes the first single path P1 and the second single path P2. At this time, the similarity of the path region between the path region R and the third single path P3 = {202, 302, 402, 503} can be obtained by referring to Equation 3. Substituting the values in Equation 3, the similarity of the path region is 0.625. The route domain similarity obtained in this way is used when merging the route domain and the single route. Single Route Merge can be defined as follows.

상술한 수학식 4를 참조하면,

는 경로 유사 임계치를 의미하며, 경로 영역 유사도가 경로 유사 임계치(

) 보다 클 경우 해당 경로 영역과 단일 경로는 병합이 가능하다고 판단하며, 해당 시점에 병합이 가능한 여러 경로 영역이 존재할 경우 각 경로 영역과의 경로 영역 유사도를 구해 가장 큰 값을 가지는 경로 영역과 해당 단일 경로를 병합한다. Referring to Equation 4 above,

Denotes a path similarity threshold, and the path domain similarity is a path similarity threshold (

), it is judged that the path area and the single path can be merged, and if there are multiple path areas that can be merged at that time, the similarity of the path area with each path area is calculated, Merge paths.

따라서, 단일 경로 병합은 상술한 수학식 4를 만족하는 경우 단일 경로 P를 경로 영역 R에 병합한다.Accordingly, the single path merging merges the single path P into the path region R when Equation 4 is satisfied.

단일 경로 병합은 빈발 항목 집합 탐색 결과 도출된 단일 경로들을 대상으로 수행하고, 단일 경로가 포함한 분할 영역의 개수에 따라 내림차순으로 정렬하며, 정렬된 순서대로 단일 경로들을 순회하면서 구별되는 경로 영역을 탐색한다. 분할 영역의 개수가 가장 많은 첫 단일 경로는 아직 탐색된 경로 영역이 없으므로 해당 단일 경로를 포함하는 경로 영역을 새로 생성한다. 이후 순서대로 각 단일 경로마다 현재까지 탐색된 경로 영역들과 해당 단일 경로 간의 단일 경로 병합을 수행한다. 단일 경로 병합에 실패한 단일 경로에 대해 해당 단일 경로를 포함하는 새로운 경로 영역을 생성한다. 같은 방법으로 모든 단일 경로들을 순회하며 경로 영역을 학습한다.Single path merging is performed targeting single paths derived as a result of searching for a set of frequent items, sorting in descending order according to the number of partitions included in a single path, and searching for distinct path regions by traversing single paths in the sorted order. . The first single path with the largest number of partitions has no searched path region yet, so a new path region including the single path is created. Subsequently, for each single path, a single path merge between the currently searched path regions and the corresponding single path is performed. For a single path that failed to merge a single path, a new path area containing the single path is created. In the same way, we traverse all single paths and learn the path domain.

이하에서는 최적인 분할 영역의 크기를 자율 결정하는 것에 대해 설명한다. 도 5는 분할 영역 크기에 따른 객체 이동 로그를 표현한 도면이다.Hereinafter, autonomous determination of the optimal size of the divided region will be described. 5 is a diagram illustrating an object movement log according to a divided area size.

영상 메타 데이터에서 최적의 분할 영역 크기를 스스로 결정하기 위해서는 분할 영역 크기에 따라 화면을 묘사하는 정도를 나타내는 묘사율과 각 분할 영역의 지지도에 따른 빈발 분할 영역 탐색률을 산출하고 두 지표에 따라 최적의 분할 영역 크기를 결정한다. 영상 메타 데이터에 대해 윈도우 기법을 사용하여 윈도우 크기 시간 동안의 데이터 세트에 대해 빈발 항목 집합 탐색 기반 경로 영역 자기 학습 기법을 수행하여 해당 윈도우에서의 단일 경로들을 찾은 후 직전 윈도우 까지 탐지된 경로 영역 집합에 대해 단일 경로 병합을 수행함으로써 점진적으로 경로 영역을 자기 학습하게 된다.In order to determine the optimal partition size in the image metadata, the description rate representing the degree of depiction of the screen according to the divided region size and the search rate for frequent divided regions according to the support level of each divided region are calculated. Determine the partition size. For image metadata, a window technique is used to find a single path in the window by performing a path domain self-learning technique based on frequent item set search for the data set during the window size time, and then to the set of path domains detected up to the previous window. By performing single path merging for each path, the path domain is gradually self-learning.

영상 메타 데이터에서 경로 영역을 학습할 때 화면 좌표를 이산화하여 그리 드로 표현한다. 이 때 분할 영역 크기가 작을수록 화면을 보다 많은 수의 분할 영역으로 표현하게 되어 객체의 이동 경로를 자세하게 묘사할 수 있다. 따라서, 찾아지는 경로 영역도 더 자세하게 묘사될 수 있다. 하지만 분할 영역의 크기가 작아질수록 각 객체들의 이동 경로 위치가 구분되어지고 비슷한 경로를 지나간 객체들의 이동 경로가 서로 다른 분할 영역으로 묘사됨으로써 빈발 항목 집합의 탐색이 이뤄지지 않을 수 있다. 따라서 화면상의 경로 영역을 자세히 묘사할 수 있으면서 객체들의 움직임을 적절하게 구분할 수 있는 최적의 분할 영역 크기를 찾는 것이 중요하다.When learning a path region from image metadata, the screen coordinates are discretized and expressed as a grid. In this case, the smaller the divided area size, the greater the number of divided areas to represent the screen, so that the moving path of the object can be described in detail. Thus, the path area to be found can also be described in more detail. However, as the size of the divided area decreases, the location of the movement path of each object is divided, and the movement paths of the objects passing through a similar path are described as different divided areas, so that the search for a set of frequent items may not be performed. Therefore, it is important to find the optimal size of the segmented area that can adequately distinguish the movement of objects while being able to describe the path area on the screen in detail.

도 5를 참조하면, 분할 영역 크기에 따른 동일 객체의 이동 로그 표현을 볼 수 있다. 도 5에서 도 5a는 객체의 이동을 화면상에 표현한 것이다. 도 5b는 화면을 16개 분할 영역으로 나누었을 때 객체가 이동하면서 지나간 분할 영역을 표현한 것이다. 도 5c는 화면을 64개 분할 영역으로 나누었을 때 객체가 이동하면서 지나간 분할 영역을 표현한 것이다.Referring to FIG. 5, a movement log representation of the same object according to the divided area size can be viewed. In FIG. 5, FIG. 5A shows the movement of an object on the screen. FIG. 5B shows a divided area passed while an object moves when the screen is divided into 16 divided areas. FIG. 5C illustrates a divided area passed while an object moves when the screen is divided into 64 divided areas.

분할 영역 크기가 작을수록 많은 수의 분할 영역으로 화면을 표현하게 되고 객체의 이동을 더 자세하게 묘사하는 것을 볼 수 있다. 이 때 영상에 출현한 객체들의 이동을 표현한 분할 영역 집합의 크기와 전체 분할 영역 개수의 비율을 통해 객체 움직임이 자세히 묘사되는 정도를 나타낼 수 있다. 경로 묘사율(Route Desctiption Rate)은 다음과 같이 정의할 수 있다.It can be seen that the smaller the divided area size, the larger the number of divided areas to represent the screen and more detailed description of the movement of the object. In this case, the degree to which the object movement is described in detail may be expressed through the ratio of the size of the divided region set representing the movement of the objects appearing in the image to the total number of divided regions. Route description rate (Route Desctiption Rate) can be defined as follows.

상술한 수학식 5를 참조하면, Gn은 전체 분할 영역 집합, n은 화면의 가로와 세로를 등분한 값, |Gn|은 전체 분할 영역 집합의 크기, GOn은 영상에 출현한 객체들이 한 번이라도 지나간 분할 영역들의 집합,

는 경로 묘사율을 의미한다.Referring to Equation 5 above, Gn is the entire segmented region set, n is a value obtained by dividing the width and height of the screen, |Gn| is the size of the entire segmented region set, and GOn is the object appearing in the image at least once. A set of past partitions,

Means path description rate.

객체의 이동을 자세히 묘사할수록 객체의 이동을 표현하는 영역의 면적이 작기 때문에 전체 분할 영역 중 객체가 지나다니지 않은 분할 영역의 비율을 경로 묘사율로 정의한다. 예를 들어 그림 5b에서 전체 분할 영역 집합(G8)의 크기는 64이고 객체 하나가 이동하면서 지나간 분할 영역 집합(GO8)의 크기는 9 이므로 이 때 경로 묘사율

은 상술한 수학식 5에 대입하여 구할 수 있다. 상술한 수학식 5에 상기 값들을 대입하면, 경로 묘사율은 0.86이다.The more detailed the movement of an object is, the smaller the area of the area expressing the movement of the object is, so the ratio of the divided area to which the object does not pass is defined as the path description rate. For example, in Figure 5b, the size of the entire set of partitions (G8) is 64, and the size of the set of partitions (GO8) passed by one object is 9.

Can be obtained by substituting in Equation 5 above. Substituting the above values in Equation 5, the path description rate is 0.86.

마찬가지로 도 5c에서 전체 분할 영역 집합(G4)의 크기는 16이고 객체 하나가 이동하면서 지나간 분할 영역 집합(GO4)의 크기는 5이므로 이때 경로 묘사율

을 수학식 5에 대입하여 구하면 0.69이다.Similarly, in Fig. 5c, the size of the entire set of partitioned regions G4 is 16, and the size of the set of partitioned regions GO4 that passed while one object moved is 5, so at this time, the path description rate

Substituting in Equation (5) to find it is 0.69.

따라서, 경로 묘사율은 n이 지수 승으로 감소하며 분할 영역 크기가 커질 때 같은 객체의 이동에 대해 크기가 작은 분할 영역 집합에 해당하는 영역은 반드시 크기가 큰 분할 영역 집합에 해당하는 영역에 포함되므로 동일한 객체들의 이동에 대해 분할 영역 크기가 작아질수록 경로 묘사율이 커진다Therefore, the path description rate decreases by the exponential power of n, and when the size of the partition increases, the region corresponding to the small partition set is necessarily included in the region corresponding to the large partition set for the movement of the same object. For the movement of the same objects, the smaller the segment size, the higher the path description rate.

경로 영역 자기 학습 장치(10)는 빈발 항목 집합 탐색 기반의 경로 영역 자기 학습 방법이다. 이 때 빈발 항목 집합은 객체가 주로 지나다니는 분할 영역 집합을 의미한다. 분할 영역 크기가 작을수록 객체의 이동이 구분되므로 동일한 경로에 대해 여러 항목 집합이 찾아지고 각 항목 집합들에 지지도가 분산되어 빈발 항목 집합으로 탐색되지 않을 수 있다. 빈발 항목 집합 탐색 시 빈발 항목 집합이 아닌 1-항목 집합을 포함하는 모든 n-항목 집합은 빈발 항목 집합이 될 수 없다. 즉, 빈발 항목 집합 탐색의 최소지지도(Supfrequent)를 만족하는 분할 영역이 적을수록 빈발 항목 집합이 탐색되지 않을 수 있다. 빈발 분할 영역 탐색률(Finding Frequent Grid Rate)은 다음과 같이 정의할 수 있다.The path domain self-learning apparatus 10 is a path domain self-learning method based on frequent item set search. In this case, the frequent item set means a set of partitioned areas through which an object mainly passes. As the size of the partitioned area is smaller, movement of the object is distinguished. Therefore, multiple item sets are found for the same path, and support is distributed to each item set, so that the search may not be performed as a frequent item set. When searching for a frequent item set, any n-item set including a 1-item set other than a frequent item set cannot be a frequent item set. That is, as the number of divided regions satisfying the Supfrequent of the frequent item set search is smaller, the frequent item set may not be searched. The Finding Frequent Grid Rate can be defined as follows.

상술한 수학식 6을 참조하면, n(Gi)는 각 분할 영역을 지나간 객체의 수, |On|은 전체 객체의 수, |GOn|은 객체가 지나간 분할 영역의 개수, n은 빈발 분할 영역 탐색률을 의미한다. 분할 영역의 지지도는 상기 각 분할 영역을 지나간 객체의 수를 전체 객체의 수로 나누어 구하며, 빈발 항목 집합 탐색의 최소 지지도와 비교하여 최소 지지도 이상인 분할 영역의 개수를 구한다. 객체가 지나간 분할 영역 개수에 대한 최소 지지도 이상인 분할 영역 개수의 비율로 빈발 분할 영역 탐색률을 정의한다.Referring to Equation 6 above, n(Gi) is the number of objects that have passed each partition, |On| is the number of all objects, |GOn| is the number of partitions that the object has passed, and n is the frequent partition search. Means rate. The support degree of the divided region is obtained by dividing the number of objects passing through each divided region by the total number of objects, and the number of divided regions having a minimum support degree is obtained by comparing the minimum support degree of searching for frequent item sets. The frequent divided area search rate is defined as the ratio of the number of divided areas that are equal to or greater than the minimum support to the number of divided areas passed by the object.

n이 지수 승으로 감소하며 분할 영역 크기가 커질 때 같은 객체의 이동에 대해 크기가 작은 분할 영역 집합에 해당하는 영역은 반드시 크기가 큰 분할 영역 집합에 해당하는 영역에 포함되므로 동일한 객체들의 이동에 대해 분할 영역 크기가 작아 질수록 빈발 분할 영역 탐색률이 작아진다. 최적 분할 영역 크기를 결정하기 위해 동일한 메타 데이터 세트에 대하여 분할 영역 크기를 줄여가며 묘사율과 빈발 분할 영역 탐색률을 구해 두 값의 곱이 최대가 되는 n을 찾아 최적 분할 영역 크기를 결정한다.When n is reduced to the exponential power and the size of the partition increases, the region corresponding to the smaller partition set is necessarily included in the region corresponding to the larger partition set. The smaller the divided area size, the smaller the frequent divided area search rate. In order to determine the optimal partition size, the size of the partition area is reduced for the same meta data set, and the description rate and the frequent partition search rate are obtained, and the product of the two values is found to be the maximum, and the optimal partition size is determined.

이하에서는 실시간으로 경로 영역을 자율적으로 관리하는 것에 대해 설명한다.Hereinafter, autonomous management of the path area in real time will be described.

실시간 영상에 대한 경로 영역 자기 학습에서는 객체의 이동에 따라 경로 영역이 정의되므로 최신 경로 영역으로 갱신되어야 한다. 시간이 지남에 따라 경로 영역이 변경되는 경우 기존 경로 영역은 삭제되고 새로운 경로 영역이 찾아야 한다. 이를 위해 경로 영역 지지도를 관리한다. 매 윈도우 마다 단일 경로가 찾아지고 모든 단일 경로는 기존의 경로 영역을 순회하며 단일 경로 병합을 수행한다. 이 때 경로 영역 지지도는 경로 영역에 병합되는 단일 경로의 수로 정의한다. 따라서 영상에서 경로 영역이 변할 경우 시간이 지남에 따라 오래된 경로 영역에 대한 단일 경로가 찾아지지 않아 해당 경로 영역의 지지도는 증가하지 못하고 새로운 경로 영역의 지지도가 증가하게 된다. 매 윈도우 마다 단일 경로 병합 이후 갱신된 지지도에 대해 최소 경로 영역 임계치를 만족하지 못하는 경로 영역은 삭제된다.In the self-learning of the path region for a real-time image, the path region is defined according to the movement of an object, so the latest path region must be updated. When the route area changes over time, the existing route area is deleted and a new route area must be found. To this end, the path area support is managed. A single path is found for every window, and every single path traverses the existing path area and performs a single path merge. In this case, the path region support is defined as the number of single paths merged into the path region. Therefore, when the path region in the image changes, a single path to the old path region is not found over time, so the support of the corresponding path region does not increase, and the support of the new path region increases. The path regions that do not satisfy the minimum path region threshold for the updated support after the single path merge for each window are deleted.

예를 들어 현재까지 찾아진 경로 영역 R1 ={P1, P2, P3}, R2 ={P4 , P5}, R3 ={P6, P7}의 각각의 지지도가 3, 2, 2이고 새로 찾아진 단일 경로 P1 , P8이 각각 R 1, R2에 단일 경로 병합이 이뤄진다고 하면, 경로 영역은 서로 다른 단일 경로만을 저장하기 때문에 R1은 이전과 마찬가지로 R1 ={P1, P2, P3}이고 지지도는 4로 갱신된다. R2는 새로운 단일 경로 P8을 포함하게 되어 R2 ={P4, P5, P8}이 되고 지지도는 3으로 갱신된다. R3는 이전과 동일하며 지지도도 그래도 2로 유지된다. 이 때 최소 경로 영역 임계치가 0.3이라고 하면 모든 경로 영역의 지지도 합에 대한 경로 영역의 지지도 비율이 그 이하인 경로 영역을 삭제한다. 따라서, 이 경우 경로 영역 R3는 삭제되고 R1과 R2는 유지된다. 시간이 지남에 따라서 더 이상 객체가 지나다니지 않는 경로 영역은 삭제되고 새로운 경로 영역이 학습 되면서 실시간 영상에 대해 스스로 경로 영역을 관리하는 실시간 경로 영역 자율 관리가 가능하다.For example, the path regions R1 ={P1, P2, P3}, R2 ={P4, P5}, R3 ={P6, P7} each have a support rating of 3, 2, 2, and a newly found single path Assuming that P1 and P8 merge a single path into R 1 and R2, respectively, since the path region stores only different single paths, R1 is R1 ={P1, P2, P3} and the support is updated to 4 as before. . R2 includes a new single path P8, so R2 ={P4, P5, P8} and the support is updated to 3. R3 remains the same as before, and the support remains at 2. In this case, if the minimum path region threshold is 0.3, the path region whose support ratio of the path region to the sum of support of all path regions is less than that is deleted. Thus, in this case, the path region R3 is deleted and R1 and R2 are maintained. As time elapses, the path area where the object no longer passes is deleted, and a new path area is learned, enabling autonomous management of the real-time path area, which manages the path area by itself for real-time images.

경로 영역을 지나는 객체가 영상에서 나타나고 사라지는 위치를 탐색하기 위해 영상의 출현 영역과 소멸 영역을 탐색한다. 객체의 이동로그 트랜잭션에서 첫 번째 분할 영역을 객체의 출현 분할 영역이라고 하고 마지막 분할 영역을 객체의 소멸 분할 영역이라고 한다. 이 때 각 객체의 출현 분할 영역과 소멸 분할 영역을 구해 영상의 출현 영역과 소멸 영역을 찾기 위한 빈발 분할 영역을 탐색한다.In order to search for a location where an object passing through the path area appears and disappears in the image, the appearance area and the disappearance area of the image are searched. In the movement log transaction of an object, the first partition is called the appearance partition of the object, and the last partition is called the disappearance partition of the object. At this time, the appearance and disappearance divided regions of each object are obtained, and the frequent divided regions to find the appearance and disappearance of the image are searched.

아래의 표 1은 영상에 출현한 모든 객체의 출현 분할 영역의 지지도를 구한것이고, 표 2는 영상에 출현한 모든 객체의 소멸 분할 영역의 지지도를 구한 것이다. 이 때 지지도가 출입 영역 임계치(

) 이상인 분할 영역들을 출현 영역 또는 소멸 영역으로 한다.Table 1 below shows the support of the divided areas of appearance of all objects appearing in the image, and Table 2 shows the support of the divided areas of disappearing of all objects appearing in the image. At this time, the support level is the threshold of the access area

) Or more divided regions as appearance regions or disappearance regions.

출현 분할 영역Emergence slice 지지도Support 101101 44 102102 44 201201 33

소멸 분할 영역Extinction partition 지지도Support 910910 55 20092009 33 10101010 33

상술한 표 1 및 표 2를 참조하면, 표1에서 출입 영역 임계치가 4인 경우 출현 영역은 101과 102이고 소멸 영역은 910이다.출입 영역과 경로 영역간의 연결을 통해 각 경로 영역의 출입구를 정의할 수 있다. 객체가 나타난 출현 영역에 따라 객체가 이동할 경로 영역을 예측할 수 있고 이에 따라 객체가 이동할 것으로 예측되는 경로 영역과 연결된 소멸 영역으로 사라질 것을 예측할 수 있다. 따라서 찾아진 출현 영역과 소멸 영역을 학습함으로써 출현 영역이 아닌 곳에서 나타나는 오감지된 객체를 필터링하여 정상적으로 감지된 객체를 선별하는데 사용될 수 있다. 또한 객체의 이동을 예측하거나 비정상적인 움직임을 보이는 객체를 찾는데 사용될 수 있다.Referring to Tables 1 and 2, in Table 1, when the threshold for the access area is 4, the appearance areas are 101 and 102, and the disappearance area is 910. The entrance of each route area is defined through the connection between the access area and the route area. can do. The path region in which the object will move can be predicted according to the appearance region in which the object appears, and accordingly, it can be predicted that the object will disappear into the disappearance region connected to the predicted path region. Therefore, it can be used to select normally detected objects by filtering erroneously sensed objects appearing in non-appearance areas by learning the found appearance and disappearance areas. It can also be used to predict the movement of an object or to find an object showing abnormal movement.

도 6a 및 도 6b는 본 발명의 다른 실시예에 따른 경로 영역 자기 학습 방법을 예시한 흐름도이다. 경로 영역 자기 학습 방법은 컴퓨팅 디바이스에 의하여 수행될 수 있으며, 경로 영역 자기 학습 장치가 수행하는 동작에 관한 상세한 설명과 중복되는 설명은 생략하기로 한다.6A and 6B are flowcharts illustrating a path domain self-learning method according to another embodiment of the present invention. The path-domain self-learning method may be performed by the computing device, and detailed descriptions of operations performed by the path-domain self-learning apparatus and overlapping descriptions will be omitted.

단계 S610에서, 컴퓨팅 디바이스는 정체 분할 영역 중 객체가 지나다니지 않은 분할 영역의 비율을 경로로 나타내는 경로 묘사율 및 객체가 지나가는 분할 영역의 개수에 대한 최소 지지도 이상인 분할 영역의 개수의 비율로 나타내는 빈발 분할 영역 탐색률을 기반으로 분할 영역의 크기를 결정한다. 최적의 분할 영역 크기를 자율적으로 결정하는 것은 첫 윈도우 시에만 수행한다.In step S610, the computing device is divided into a path delineation rate representing the ratio of the partitioned regions that the object does not pass through among the congested partitioned regions as a path, and the frequent partitioning represented by the ratio of the number of partitions equal to or greater than the minimum support to the number of partitions through which the object passes. The size of the divided area is determined based on the area search rate. The autonomous determination of the optimal partition size is performed only at the first window.

단계 S620에서, 컴퓨팅 디바이스는 영상에 나타난 객체의 움직임을 감지하여 형성한 객체 메타 데이터를 기반으로 객체의 이동 경로를 트랜잭션으로 생성한다.In step S620, the computing device generates a movement path of the object as a transaction based on the object metadata formed by detecting the movement of the object shown in the image.

단계 S620은 영상의 매 프레임마다 감지된 상기 객체의 위치 좌표를 표시하며, 위치 좌표는 영상의 이미지에서 중앙점의 픽셀 위치를 나타낸다. 객체의 이동 경로로 생성되는 트랜잭션은 위치 좌표들로 표현되는 객체의 이동 경로를 위치 좌표에 해당하는 분할 영역의 집합으로 표현한다.In step S620, the position coordinates of the object detected every frame of the image are displayed, and the position coordinates indicate the pixel position of the center point in the image of the image. The transaction generated by the movement path of the object expresses the movement path of the object expressed in position coordinates as a set of partitions corresponding to the position coordinates.

단계 S630에서, 컴퓨팅 디바이스는 트랜잭션의 데이터 세트에 대해 빈발 항목 집합 탐색 기법을 사용해 찾아진 빈발 항목 집합들 중 크기가 유효 길이 임계치 이상인 단일 경로들을 기반으로 경로 영역을 생성한다.In step S630, the computing device generates a path area based on single paths whose size is equal to or greater than the effective length threshold among the frequent item sets found using the frequent item set search technique for the transaction data set.

단계 S630은 빈발 항목 집합들 중 원소의 개수와 분할 영역의 개수 및 유효 길이 임계치를 기반으로 단일 경로들을 탐색하고, 단일 경로 유사도를 기반으로 상기 단일 경로들 중 유사한 단일 경로들을 병합한다. 단일 경로 유사도는 비교하는 두 개의 단일 경로에 대해 공유하고 있는 분할 영역의 개수를 각각 포함하는 분할 영역의 개수 중 작은 값으로 나누어 계산한다.In step S630, single paths are searched based on the number of elements among the frequent item sets, the number of divided regions, and an effective length threshold, and similar single paths among the single paths are merged based on the single path similarity. The single path similarity is calculated by dividing the number of divided regions shared with respect to two single paths to be compared by a smaller value among the number of divided regions each including.

단일 경로들의 병합은 경로 영역에 포함된 단일 경로들과 병합 판단 대상인 단일 경로 간의 단일 경로 유사도의 평균으로 경로 영역 유사도를 계산하며, 경로 영역 유사도가 경로 유사 임계치보다 클 경우 해당하는 경로 영역과 단일 경로는 병합 가능하며, 해당하는 경로 영역이 다수 존재하면 경로 영역 유사도가 가장 큰 값을 가지는 경로 영역과 단일 경로를 병합한다.The merger of single paths calculates the similarity of the path region as the average of the similarity of the single paths between the single paths included in the path region and the single path to be merged. If the path region similarity is greater than the path similarity threshold, the corresponding path region and the single path Can be merged, and if there are multiple corresponding path regions, the path region having the largest similarity of the path region and the single path are merged.

단계 S640에서, 컴퓨팅 디바이스는 영상에서 경로 영역을 지나는 객체가 나타나고 사라지는 위치를 탐색하기 위해 영상의 출현 영역과 소멸 영역을 탐색하고, 출현 영역과 소멸 영역을 기반으로 감지된 객체를 선별하고 객체의 이동을 예측하거나 비정상적인 움직임을 보이는 객체를 찾는다.In step S640, the computing device searches the appearance area and the disappearance area of the image to search for the location where the object passing the path area appears and disappears in the image, selects the detected object based on the appearance area and the disappearance area, and moves the object. Predicts or finds an object showing abnormal movement.

실시간 경로 영역 자기 학습의 동작과정은 최적 분할 영역 크기 자율 결정 단계, 빈발 항목 집합 탐색 단계, 단일 경로 병합 단계, 출입 영역 자기 학습 단계로 나눌 수 있다. 이는 다음과 같은 의사코드로 표현할 수 있다.The operation process of real-time path domain self-learning can be divided into a step for autonomously determining the optimal partition size, a step for searching for a set of frequent items, a step for merging a single path, and a step for self-learning an entry zone. This can be expressed as the following pseudocode.

For each metadata Mi for object Oi in datastream DS For each metadata Mi for object Oi in datastream DS

put Mi into transaction dataset D for time window W put Mi into transaction dataset D for time window W

if first window if first window

find Optimal Grid Size n which make maximum

* Snfind Optimal Grid Size n which make maximum

* Sn

transform metadata Mi to route transaction Ti transform metadata Mi to route transaction Ti

find frequent pattern FP from D by FP-Growth method find frequent pattern FP from D by FP-Growth method

sort FP in descending order by pattern length sort FP in descending order by pattern length

For each pattern Pi in FP For each pattern Pi in FP

if n(Pi) > |D| *

then if n(Pi)> |D| *

then

max = 0 max = 0

Rm = null Rm = null

For each route Rk in RS For each route Rk in RS

if simroute(Rk, Pi) >

and simroute(Rk, Pi) > max thenif simroute(Rk, Pi)>

and simroute(Rk, Pi)> max then

max = simroute(Rk, Pi) max = simroute(Rk, Pi)

Rm = Rk Rm = Rk

End For End For

if Rm is not null then if Rm is not null then

put Pi into Rm put Pi into Rm

else else

new R = {Pi} new R = {Pi}

put R in RS put R in RS

else else

break break

End For End For

Update RS Update RS

find entry grid and exit grid for each object from D find entry grid and exit grid for each object from D

find support of grid and compare with

find support of grid and compare with

End ForEnd For

실시간 경로 영역 자기 학습 알고리즘에서, DS는 데이터스트림, RS는 모든 경로 영역 집합, EntrySet은 출현 영역, ExitSet은 소멸 영역을 의미한다. 실시간 경로 영역 자기 학습 알고리즘은 DS가 입력되어 RS, EntrySet 및 ExitSet가 출력된다.In the real-time path domain self-learning algorithm, DS is a data stream, RS is a set of all path areas, EntrySet is an appearance area, and ExitSet is an extinction area. In the real-time path domain self-learning algorithm, DS is input and RS, EntrySet and ExitSet are output.

실시간 경로 영역 자기 학습 알고리즘은 실시간 경로 영역 탐지를 위해 시간 윈도우 W 동안 데이터 셋 D를 저장하고, 첫 윈도우에 대한 최적 분할 영역 크기 자율 결정을 한다. 그 후, 객체 메타 데이터에서 각 객체의 메타 데이터를 해당 객체의 이동 경로 트랜잭션으로 변환하며, 트랜잭션 데이터 세트 D에 대해 FP-Growh 방법을 통해 빈발 항목 집합을 찾는다. FP-Growth 방법을 통해 찾아진 빈발 항목 집합들은 크기에 따라 내림차순으로 정렬한다. 상술한 과정을 거치면 경로 영역 탐색을 수행하며, 경로 영역은 조건절에 따라 유효 길이 임계치 이상의 크기를 가진 단일 경로만을 대상으로 경로 영역을 탐색한다. 현재 단일 경로가 병합 가능한 경로 영역 중 경로 영역 유사도가 가장 큰 경로 영역을 탐색하며, 아직 찾아진 경로 영역이 없거나 현재 찾아진 경로 영역 중병합이 가능한 경로 영역이 없을 경우 Rm 은 그대로 null인 상태이고, Rm 이 null일 경우 현재 단일 경로를 포함하는 새로운 경로 영역을 생성한다. 그 후, 경로 영역의 지지도를 업데이트하고 지지도가 낮은 경로 영역을 삭제하며, 출입 분할 영역의 지지도를 구해

에 따라 출입 영역을 구한다.The real-time path domain self-learning algorithm stores the data set D during the time window W for real-time path domain detection and autonomously determines the optimal partition size for the first window. After that, the meta data of each object is converted from the object meta data into a movement path transaction of the object, and the frequent item set is found for the transaction data set D through the FP-Growh method. Frequent item sets found through the FP-Growth method are sorted in descending order according to their size. Through the above-described process, a path area search is performed, and the path area is searched for only a single path having a size equal to or greater than an effective length threshold according to a condition clause. The path area with the largest similarity to the path area among the path areas where a single path can be merged is searched, and if there is no path area found or there is no path area that can be merged among the currently found path areas, Rm remains null. If Rm is null, a new path area including the current single path is created. After that, the support level of the route area is updated, the route area with low support level is deleted, and the support level of the access division area is obtained.

Find the access area according to.

도 6a 및 도 6b에서는 각각의 과정을 순차적으로 실행하는 것으로 개재하고 있으나 이는 예시적으로 설명한 것에 불과하고, 이 분야의 기술자라면 본 발명의 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 6a 및 도 6b에 기재된 순서를 변경하여 실행하거나 또는 하나 이상의 과정을 병렬적으로 실행하거나 다른 과정을 추가하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이다.In FIGS. 6A and 6B, it is interposed that each process is sequentially executed, but this is merely an illustrative description, and those skilled in the art are shown in FIGS. 6A and 6B without departing from the essential characteristics of the embodiment of the present invention. By changing the described order, executing one or more processes in parallel, or adding other processes, various modifications and variations may be applied.

도 7은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 디바이스를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술되지 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.7 is a block diagram illustrating and describing a computing environment including a computing device suitable for use in example embodiments. In the illustrated embodiment, each component may have different functions and capabilities in addition to those described below, and may include additional components in addition to those not described below.

도시된 컴퓨팅 환경은 경로 영역 자기 학습 장치(10)를 포함한다. 일 실시예에서, 경로 영역 자기 학습 장치(10)는 타 단말과 신호를 송수신하는 모든 형태의 컴퓨팅 디바이스일 수 있다. The illustrated computing environment includes a path domain self-learning device 10. In one embodiment, the path domain self-learning apparatus 10 may be any type of computing device that transmits and receives signals to and from other terminals.

경로 영역 자기 학습 장치(10)는 적어도 하나의 프로세서(710), 컴퓨터 판독 가능한 저장매체(720) 및 통신 버스(760)를 포함한다. 프로세서(710)는 경로 영역 자기 학습 장치(10)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(710)는 컴퓨터 판독 가능한 저장 매체(720)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(710)에 의해 실행되는 경우 경로 영역 자기 학습 장치(10)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.The path domain self-learning device 10 includes at least one processor 710, a computer-readable storage medium 720, and a communication bus 760. The processor 710 may cause the path domain self-learning device 10 to operate according to the aforementioned exemplary embodiment. For example, the processor 710 may execute one or more programs stored in the computer-readable storage medium 720. The one or more programs may include one or more computer-executable instructions, and when the computer-executable instructions are executed by the processor 710, the path domain self-learning apparatus 10 performs operations according to an exemplary embodiment. Can be configured to perform.

컴퓨터 판독 가능한 저장 매체(720)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능한 저장 매체(720)에 저장된 프로그램(730)은 프로세서(710)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독한 가능 저장 매체(720)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 경로 영역 자기 학습 장치(10)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.Computer-readable storage medium 720 is configured to store computer-executable instructions or program code, program data, and/or other suitable form of information. The program 730 stored in the computer-readable storage medium 720 includes a set of instructions executable by the processor 710. In one embodiment, the computer-readable storage medium 720 includes memory (volatile memory such as random access memory, nonvolatile memory, or a suitable combination thereof), one or more magnetic disk storage devices, optical disk storage devices, Flash memory devices, other types of storage media that can be accessed by the path area self-learning device 10 and store desired information, or a suitable combination thereof.

통신 버스(760)는 프로세서(710), 컴퓨터 판독 가능한 저장 매체(720)를 포함하여 경로 영역 자기 학습 장치(10)의 다른 다양한 컴포넌트들을 상호 연결한다.The communication bus 760 interconnects the various other components of the path domain self-learning device 10, including a processor 710 and a computer-readable storage medium 720.

경로 영역 자기 학습 장치(10)는 또한 하나 이상의 입출력 장치(미도시)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(740) 및 하나 이상의 통신 인터페이스(750)를 포함할 수 있다. 입출력 인터페이스(740) 및 통신 인터페이스(750)는 통신 버스(760)에 연결된다. 입출력 장치(미도시)는 입출력 인터페이스(740)를 통해 경로 영역 자기 학습 장치(10)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(미도시)는 경로 영역 자기 학습 장치(10)를 구성하는 일 컴포넌트로서 경로 영역 자기 학습 장치(10)의 내부에 포함될 수도 있고, 경로 영역 자기 학습 장치(10)와는 구별되는 별개의 장치로 컴퓨팅 디바이스와 연결될 수도 있다.The path domain self-learning device 10 may also include one or more input/output interfaces 740 and one or more communication interfaces 750 that provide interfaces for one or more input/output devices (not shown). The input/output interface 740 and the communication interface 750 are connected to the communication bus 760. The input/output device (not shown) may be connected to other components of the path region self-learning device 10 through the input/output interface 740. Exemplary input/output devices include pointing devices (mouse or trackpad, etc.), keyboards, touch input devices (touch pads or touch screens, etc.), voice or sound input devices, input devices such as various types of sensor devices and/or photographing devices, And/or an output device such as a display device, a printer, a speaker, and/or a network card. An exemplary input/output device (not shown) is a component constituting the path-domain self-learning device 10, and may be included in the path-domain self-learning device 10, and is separate from the path-domain self-learning device 10. It may be connected to the computing device by the device of.

도 8은 본 발명의 일 실시예에 따른 실험 데이터의 영상 화면을 나타내는 예시도이다.8 is an exemplary view showing an image screen of experimental data according to an embodiment of the present invention.

도 8a는 고속도로 CCTV 영상을 나타내며, 해상도 720x480, 초당 7프레임의 11분 영상이다. 이로부터 추출한 객체 메타 데이터는 총 5469KB, 1383개의 객체가 출현하였다.Figure 8a shows a highway CCTV image, resolution 720x480, is an 11-minute video of 7 frames per second. The object metadata extracted from this resulted in a total of 5469KB, and 1383 objects appeared.

도 8b는 광장 CCTV 영상을 나타내며, 해상도 880x450, 초당 7프레임의 12분 영상이다. 이로부터 추출한 객체 메타 데이터는 총 10500KB, 1131개의 객체가 출현하였다.8B shows a square CCTV image, which is a 12-minute image with a resolution of 880x450 and 7 frames per second. The object metadata extracted from this resulted in a total of 10500KB, and 1131 objects appeared.

경로 영역의 탐지는 객체 이동 경로 트랜잭션을 생성하고, FP-Growth 기법을 통해 빈발 항목 집합을 탐색하며, 경로 영역 유사도에 따른 단일 경로 병합으로 이루어진다. 빈발 항목 집합 탐색 시 최소 지지도는 고정되어 실험된다.The detection of the path domain consists of creating an object movement path transaction, searching for a set of frequent items through the FP-Growth technique, and merging a single path according to the similarity of the path domain. When searching for a set of frequent items, the minimum support is fixed and tested.

도 9는 본 발명의 일 실시예에 따른 분할 영역 크기 변화에 따른 경로 영역 탐지 결과를 나타내는 예시도이다.9 is an exemplary diagram illustrating a path region detection result according to a change in a divided region size according to an embodiment of the present invention.

도 9a 및 도 9b는 분할 영역의 개수가 100개일 때의 고속도로 영상에서 찾아진 경로 영역의 모습이다. 도 9c 및 도 9d는 분할 영역의 개수가 196개일 때의 도 9a 및 도 9b와 동일한 고속도로 영상에서 찾아진 경로 영역의 모습이다.9A and 9B are diagrams of route regions found in an image of a highway when the number of divided regions is 100. 9C and 9D are views of a route region found in the same highway image as in FIGS. 9A and 9B when the number of divided regions is 196.

도 9를 참조하면, 본 발명은 분할 영역의 개수를 증가시켜 화면을 더 작은 크기의 분할 영역으로 분할할 경우 더 많이 구분되는 경로 영역을 탐색한다.Referring to FIG. 9, in the present invention, when the number of divided areas is increased and the screen is divided into smaller divided areas, more divided path areas are searched.

본 발명은 화면을 분할하는 분할 영역의 개수가 증가함에 따라 객체의 이동 경로 트랜잭션의 평균 길이가 증가하며, 분할 영역의 개수가 증가함에 따라 경로 영역 탐지를 위한 알고리즘의 평균 처리 시간은 길어진다. In the present invention, as the number of partitioned regions for dividing a screen increases, the average length of a movement path transaction of an object increases, and as the number of partitions increases, the average processing time of an algorithm for detecting a path region increases.

도 10은 본 발명의 일 실시예에 따른 경로 유사 임계치에서 찾아진 경로 영역을 나타내는 예시도이다.10 is an exemplary diagram illustrating a path region found at a path similarity threshold according to an embodiment of the present invention.

도 10a는 경로 유사 임계치가 0.6일 때, 찾아진 광장 영상의 경로 영역들 중 일부의 모습을 나타낸 예시도이다. 경로 유사 임계치가 0.6일 때 광장에서는 총 22개의 경로 영역이 탐지될 수 있으며, 각 경로 영역이 포함한 단일 경로의 수는 평균 3개 이다.10A is an exemplary view showing some of the path regions of the found square image when the path similarity threshold is 0.6. When the path similarity threshold is 0.6, a total of 22 path areas can be detected in the square, and the number of single paths included in each path area is an average of 3.

도 10b는 경로 유사 임계치가 0.3일 때, 찾아진 광장 영상의 경로 영역들 중 일부의 모습을 나타낸 예시도이다. 경로 유사 임계치가 0.3일 때 광장에서는 총 10개의 경로 영역이 탐지되었으며, 각 경로 영역이 포함한 단일 경로의 수는 평균 7개 이다.10B is an exemplary view showing some of the path regions of the found square image when the path similarity threshold is 0.3. When the path similarity threshold is 0.3, a total of 10 path areas were detected in the square, and the number of single paths included in each path area is an average of 7.

도 10a에서 각 열의 3개의 경로 영역이 도 10b에서는 하나의 경로 영역으로 합쳐진 것을 확인할 수 있으며, 경로 유사 임계치가 낮아짐에 따라 더 많은 단일 경로들이 병합된다.In FIG. 10A, it can be seen that the three path regions of each row are merged into one path region in FIG. 10B, and as the path similarity threshold is lowered, more single paths are merged.

도 11은 본 발명의 일 실시예에 따른 고속도로 영상에서 출현 영역과 소멸 영역을 나타내는 예시도이다.11 is an exemplary view showing an appearance area and an extinction area in an image of a highway according to an embodiment of the present invention.

도 11을 참조하면, 최적 그리드 크기는 자율 결정에 따라 81개의 분할 영역으로 형성되며, 81개의 분할 영역에 따른 빈발 출입 영역을 탐색하였다. 고속도로 영상에 대한 출입 영역 임계치는 빈발 항목 집합 탐색의 최소지지도와 같이 0.05로 정의하였다.Referring to FIG. 11, the optimal grid size is formed into 81 divided areas according to an autonomous decision, and frequent access areas according to 81 divided areas are searched. The threshold for the access area for the highway image was defined as 0.05 as the minimum support map for frequent item set search.

도 11a는 고속도로 영상에서 찾아진 출현 영역으로, 양쪽 도로에서 차량이 진입하는 위치가 찾아진 것을 확인할 수 있다.11A is an appearance area found in an image of a highway, and it can be seen that a vehicle entry position is found on both roads.

도 11b는 고속도로 영상에서 찾아진 소멸 영역으로, 양쪽 도로에서 차량이 사라지는 위치가 찾아지는 것을 확인할 수 있다.11B is an extinction area found in an image of a highway, and it can be seen that locations where vehicles disappear are found on both roads.

도 12는 본 발명의 일 실시예에 따른 광장 영상에서 출현 영역과 소멸 영역을 나타내는 예시도이다.12 is an exemplary view showing an appearance area and an extinction area in a square image according to an embodiment of the present invention.

도 12를 참조하면, 최적 그리드 크기는 자율 결정에 따라 64개의 분할 영역으로 형성되며, 64개의 분할 영역에 따른 빈발 출입 영역을 탐색하였다. 광장 영상에 대한 출입 영역 임계치는 빈발 항목 집합 탐색의 최소지지도와 같이 0.05로 정의하였다.Referring to FIG. 12, the optimal grid size is formed into 64 divided areas according to an autonomous decision, and frequent access areas according to 64 divided areas are searched. The threshold for the access area for the square image was defined as 0.05 as the minimum support map for frequent item set search.

도 12a는 광장 영상에서 찾아진 출현영역이고, 도 12b는 광장 영상에서 찾아진 소멸 영역이다. 광장 영상의 경우, 도 11의 고속도로 영상과 달리 객체의 출입 영역과 소멸 영역이 명확하게 정해져 있지 않으며, 객체가 주로 나타나는 위치가 출입 영역으로 찾아진다.12A is an appearance area found in a square image, and FIG. 12B is an lapsed area found in a square image. In the case of the square image, unlike the highway image of FIG. 11, the access area and the disappearance area of the object are not clearly defined, and the location where the object mainly appears is found as the access area.

도 12a 및 도 12b를 참조하면, 많은 수의 사람들이 광장의 계단을 통해 이동하였기 때문에 출입 영역과 소멸 영역이 광장의 계단에 나타나는 것을 확인할 수 있다.Referring to FIGS. 12A and 12B, since a large number of people moved through the stairs of the square, it can be seen that the entrance area and the disappearance area appear on the stairs of the square.

본 실시예들에 따른 동작은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능한 매체에 기록될 수 있다. 컴퓨터 판독 가능한 매체는 실행을 위해 프로세서에 명령어를 제공하는 데 참여한 임의의 매체를 나타낸다. 컴퓨터 판독 가능한 매체는 프로그램 명령, 데이터 파일, 데이터 구조 또는 이들의 조합을 포함할 수 있다. 예를 들면, 자기 매체, 광기록 매체, 메모리 등이 있을 수 있다. 컴퓨터 프로그램은 네트워크로 연결된 컴퓨터 시스템 상에 분산되어 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 본 실시예를 구현하기 위한 기능적인(Functional) 프로그램, 코드, 및 코드 세그먼트들은 본 실시예가 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있을 것이다.The operations according to the embodiments may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. Computer-readable medium refers to any medium that participates in providing instructions to a processor for execution. The computer-readable medium may include program instructions, data files, data structures, or a combination thereof. For example, there may be a magnetic medium, an optical recording medium, a memory, and the like. Computer programs may be distributed over networked computer systems to store and execute computer-readable codes in a distributed manner. Functional programs, codes, and code segments for implementing the present embodiment may be easily inferred by programmers in the technical field to which the present embodiment belongs.

본 실시예들은 본 실시예의 기술 사상을 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The present embodiments are for explaining the technical idea of the present embodiment, and the scope of the technical idea of the present embodiment is not limited by these embodiments. The scope of protection of this embodiment should be interpreted by the following claims, and all technical ideas within the scope equivalent thereto should be construed as being included in the scope of the present embodiment.

10: 경로 영역 자기 학습 장치
100: 분할 영역 크기 결정부
200: 이동 경로 생성부
300: 경로 영역 생성부
400: 출입 영역 학습부10: path domain self-learning device
100: partition size determination unit
200: movement path generation unit
300: path area generation unit
400: access area learning department

Claims (14)

컴퓨팅 디바이스에 의한 경로 영역 자기 학습 방법에 있어서,
영상에 나타난 객체의 움직임을 감지하여 생성된 객체 메타 데이터를 기반으로 상기 객체의 이동 경로 트랜잭션을 생성하는 단계; 및
상기 이동 경로 트랜잭션의 집합을 기반으로 추출한 빈발 항목 집합들을 기반으로 단일 경로를 생성하고, 생성한 상기 단일 경로를 이용하여 경로 영역을 생성하는 단계
를 포함하는 경로 영역 자기 학습 방법.In the path domain self-learning method by a computing device,
Generating a movement path transaction of the object based on the object metadata generated by detecting the movement of the object shown in the image; And
Creating a single path based on the set of frequent items extracted based on the set of movement path transactions, and generating a path area using the generated single path
Path domain self-learning method comprising a. 제1항에 있어서,
상기 객체의 이동 경로 트랜잭션을 생성하는 단계는 상기 영상의 매 프레임마다 감지된 상기 객체의 위치 좌표를 분할 영역에 표시하는 것을 특징으로 하는 경로 영역 자기 학습 방법.The method of claim 1,
The generating of the movement path transaction of the object comprises displaying the position coordinates of the object detected every frame of the image in a divided area. 제2항에 있어서,
상기 이동 경로 트랜잭션은 상기 위치 좌표들로 표현되는 상기 객체의 이동 경로를 상기 위치 좌표에 해당하는 분할 영역의 집합으로 표현하는 것을 특징으로 하는 경로 영역 자기 학습 방법.The method of claim 2,
Wherein the movement path transaction expresses the movement path of the object represented by the location coordinates as a set of divided areas corresponding to the location coordinates. 제2항에 있어서,
복수의 분할 영역들 중 상기 객체가 지나다니지 않은 상기 분할 영역의 비율을 경로로 나타내는 경로 묘사율 및 상기 객체가 지나가는 상기 분할 영역의 개수에 대한 최소 지지도 이상인 상기 분할 영역의 개수의 비율로 나타내는 빈발 분할 영역 탐색률을 기반으로 상기 분할 영역의 크기를 결정하는 단계를 더 포함하는 경로 영역 자기 학습 방법.The method of claim 2,
Frequent segmentation represented by a path description rate representing the ratio of the segmented regions not passed by the object among a plurality of segmented regions as a path and the number of segmented regions that are equal to or greater than the minimum support for the number of segmented regions through which the object passes The path domain self-learning method further comprising determining the size of the divided area based on the area search rate. 제2항에 있어서,
상기 경로 영역을 생성하는 단계는,
상기 빈발 항목 집합들 중 원소의 개수와 상기 분할 영역의 개수와 유효 길이 임계치의 곱을 비교하여 상기 단일 경로들을 탐색하는 단계; 및
단일 경로 유사도를 기반으로 상기 단일 경로들 중 유사한 상기 단일 경로들을 병합하는 단계를 포함하는 경로 영역 자기 학습 방법.The method of claim 2,
Generating the path region,
Searching for the single paths by comparing a product of the number of elements among the frequent item sets and the number of divided regions and an effective length threshold; And
And merging the single paths that are similar among the single paths based on a single path similarity. 제5항에 있어서,
상기 단일 경로 유사도는 비교하는 두 개의 상기 단일 경로에 대해 공유하고 있는 상기 분할 영역의 개수를 상기 두 개의 단일 경로가 각각 포함하는 상기 분할 영역의 개수 중 작은 값으로 나누어 계산하는 것을 특징으로 하는 경로 영역 자기 학습 방법.The method of claim 5,
The single path similarity is calculated by dividing the number of the divided regions shared with respect to the two single paths to be compared by a smaller value among the number of the divided regions each included in the two single paths. Self-learning method. 제5항에 있어서,
상기 단일 경로들을 병합하는 단계는,
상기 경로 영역에 포함된 상기 단일 경로들과 병합 판단 대상인 단일 경로 간의 상기 단일 경로 유사도의 평균으로 경로 영역 유사도를 계산하며,
상기 경로 영역 유사도가 경로 유사 임계치보다 클 경우, 해당하는 상기 경로 영역과 상기 단일 경로가 병합되며, 상기 해당하는 경로 영역이 다수 존재하면 상기 경로 영역 유사도가 가장 큰 값을 가지는 상기 경로 영역과 상기 단일 경로가 병합되는 것을 특징으로 하는 경로 영역 자기 학습 방법.The method of claim 5,
The step of merging the single paths,
A path region similarity is calculated as an average of the single path similarity between the single paths included in the path region and a single path to be merged, and
When the path region similarity is greater than the path similarity threshold, the corresponding path region and the single path are merged. If there are multiple corresponding path regions, the path region having the largest similarity value and the single path Path domain self-learning method, characterized in that paths are merged. 제1항에 있어서,
상기 영상에서 상기 경로 영역을 지나는 상기 객체가 나타나고 사라지는 위치를 탐색하기 위해 상기 영상의 출현 영역과 소멸 영역을 탐색하는 출입 영역 자기 학습 단계를 더 포함하고,
상기 출입 영역 자기 학습 단계는 상기 출현 영역과 소멸 영역을 기반으로 감지된 상기 객체를 선별하고 상기 객체의 이동을 예측하거나 비정상적인 움직임을 보이는 상기 객체를 찾는 것을 특징으로 하는 경로 영역 자기 학습 방법.The method of claim 1,
Further comprising an entry area self-learning step of searching for an appearance area and an extinction area of the image to search for a location where the object passing through the path area appears and disappears in the image,
The self-learning step of the access region comprises selecting the detected object based on the appearance region and the disappearance region, and predicting the movement of the object or finding the object exhibiting abnormal movement. 영상에 나타난 객체의 움직임을 감지하여 생성된 객체 메타 데이터를 기반으로 상기 객체의 이동 경로 트랜잭션으로 생성하는 이동 경로 생성부; 및
상기 이동 경로 트랜잭션의 집합을 기반으로 추출한 빈발 항목 집합들을 기반으로 단일 경로를 생성하고, 생성한 상기 단일 경로를 이용하여 경로 영역을 생성하는 경로 영역 생성부를 포함하는 경로 영역 자기 학습 장치.A movement path generation unit that detects movement of an object displayed in an image and generates a movement path transaction of the object based on the object metadata generated; And
A path region self-learning device comprising a path region generator that generates a single path based on frequent item sets extracted based on the travel path transaction set, and generates a path region using the generated single path. 제9항에 있어서,
상기 이동 경로 생성부는 상기 영상의 매 프레임마다 감지된 상기 객체의 위치 좌표를 분할 영역에 표시하며,
상기 트랜잭션은 상기 위치 좌표들로 표현되는 상기 객체의 이동 경로를 상기 위치 좌표에 해당하는 분할 영역의 집합으로 표현하는 것을 특징으로 하는 경로 영역 자기 학습 장치.The method of claim 9,
The movement path generator displays the position coordinates of the object detected every frame of the image in a divided area,
The transaction is a path region self-learning device, characterized in that the movement path of the object represented by the position coordinates is expressed as a set of divided regions corresponding to the position coordinates. 제10항에 있어서,
복수의 분할 영역들 중 상기 객체가 지나다니지 않은 분할 영역의 비율을 경로로 나타내는 경로 묘사율 및 상기 객체가 지나가는 상기 분할 영역의 개수에 대한 최소 지지도 이상인 상기 분할 영역의 개수의 비율로 나타내는 빈발 분할 영역 탐색률을 기반으로 상기 분할 영역의 크기를 결정하는 분할 영역 크기 결정부를 더 포함하는 경로 영역 자기 학습 장치.The method of claim 10,
A path description rate representing the ratio of the divided areas that the object does not pass through among a plurality of divided areas as a path, and a frequent divided area represented by the ratio of the number of divided areas that are equal to or greater than the minimum support for the number of the divided areas through which the object passes The path region self-learning apparatus further comprises a divided region size determination unit that determines the size of the divided region based on a search rate. 제10항에 있어서,
상기 경로 영역 생성부는,
상기 빈발 항목 집합들 중 원소의 개수와 상기 분할 영역의 개수와 유효 길이 임계치의 곱을 비교하여 상기 단일 경로들을 탐색하는 단일 경로 탐색부; 및
단일 경로 유사도를 기반으로 상기 단일 경로들 중 유사한 상기 단일 경로들을 병합하는 단일 경로 병합부를 포함하는 경로 영역 자기 학습 장치.The method of claim 10,
The path region generation unit,
A single path search unit for searching the single paths by comparing a product of the number of elements among the frequent item sets and the number of divided regions and an effective length threshold; And
A path domain self-learning apparatus comprising a single path merging unit for merging the single paths that are similar among the single paths based on a single path similarity. 제12항에 있어서,
상기 경로 영역 생성부는,
상기 경로 영역에 포함된 상기 단일 경로들과 병합 판단 대상인 단일 경로 간의 상기 단일 경로 유사도의 평균으로 경로 영역 유사도를 계산하며,
상기 경로 영역 유사도가 경로 유사 임계치보다 클 경우, 해당하는 상기 경로 영역과 상기 단일 경로가 병합되며, 상기 해당하는 경로 영역이 다수 존재하면 상기 경로 영역 유사도가 가장 큰 값을 가지는 상기 경로 영역과 상기 단일 경로가 병합되는 것을 특징으로 하는 경로 영역 자기 학습 장치.The method of claim 12,
The path region generation unit,
A path region similarity is calculated as an average of the single path similarity between the single paths included in the path region and a single path to be merged, and
When the path region similarity is greater than the path similarity threshold, the corresponding path region and the single path are merged. If there are multiple corresponding path regions, the path region having the largest similarity value and the single path Path domain self-learning device, characterized in that the path is merged. 제9항에 있어서,
상기 영상에서 상기 경로 영역을 지나는 상기 객체가 나타나고 사라지는 위치를 탐색하기 위해 상기 영상의 출현 영역 및 소멸 영역을 탐색하는 출입 영역 자기 학습부를 더 포함하고,
상기 출입 영역 자기 학습부는 상기 출현 영역과 소멸 영역을 기반으로 감지된 상기 객체를 선별하고 상기 객체의 이동을 예측하거나 비정상적인 움직임을 보이는 상기 객체를 찾는 것을 특징으로 하는 경로 영역 자기 학습 장치.The method of claim 9,
Further comprising an entry area self-learning unit for searching an appearance area and an extinction area of the image to search for a location where the object passing through the path area appears and disappears in the image,
And the access region self-learning unit selects the detected object based on the appearance region and the disappearance region, and predicts the movement of the object or finds the object exhibiting an abnormal movement.

Images