KR102131896B1 - Method and apparatus for monitoring video - Google Patents

Method and apparatus for monitoring video Download PDF

Info

Publication number
KR102131896B1
KR102131896B1 KR1020140126860A KR20140126860A KR102131896B1 KR 102131896 B1 KR102131896 B1 KR 102131896B1 KR 1020140126860 A KR1020140126860 A KR 1020140126860A KR 20140126860 A KR20140126860 A KR 20140126860A KR 102131896 B1 KR102131896 B1 KR 102131896B1
Authority
KR
South Korea
Prior art keywords
image
cell
information
monitored
unit
Prior art date
Application number
KR1020140126860A
Other languages
Korean (ko)
Other versions
KR20160035367A (en
Inventor
조동찬
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020140126860A priority Critical patent/KR102131896B1/en
Publication of KR20160035367A publication Critical patent/KR20160035367A/en
Application granted granted Critical
Publication of KR102131896B1 publication Critical patent/KR102131896B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명은 영상 감시 방법 및 장치에 관한 것이다. 개시된 영상 감시 방법은 감시 대상 객체에 대응하여 단위 셀 크기를 설정하는 단계와, 설정된 단위 셀 크기에 따라 영상을 분할하여 복수의 셀로 구획하는 단계와, 복의 영상 프레임에서 감시 대상 객체의 움직임 정보를 추출하여 각 셀별로 진입 시간, 진출 시간 또는 진출 방향 중에서 적어도 하나 이상을 포함하는 특징 정보를 생성하는 단계를 포함한다. 따라서, 특징 정보가 저장된 관계형 데이터베이스를 활용하는 지능형 영상 관제 시스템 등에서 빠른 속도의 검색이 가능해지고, 데이터베이스에 많은 양의 데이터가 기록되어 있어도 별도의 컴퓨팅 자원을 점유하지 않고서도 원하는 검색 결과를 획득할 수 있는 효율성을 가지는 이점이 있다.The present invention relates to an image monitoring method and apparatus. The disclosed video surveillance method includes setting a unit cell size corresponding to an object to be monitored, dividing an image into a plurality of cells by dividing an image according to the set unit cell size, and displaying motion information of the object to be monitored in a plurality of video frames. And generating feature information including at least one of an entry time, an advance time, or an advance direction for each cell by extraction. Therefore, it is possible to rapidly search in an intelligent video control system using a relational database in which feature information is stored, and even if a large amount of data is recorded in the database, desired search results can be obtained without occupying separate computing resources. It has the advantage of having efficient efficiency.

Description

영상 감시 방법 및 장치{METHOD AND APPARATUS FOR MONITORING VIDEO}METHOD AND APPARATUS FOR MONITORING VIDEO}

본 발명은 영상 감시 방법 및 장치에 관한 것으로, 영상 내에서 감시 대상 객체의 특징 정보를 생성하는 방법과 이를 수행할 수 있는 장치에 관한 것이다.The present invention relates to an image monitoring method and apparatus, and to a method for generating feature information of an object to be monitored in an image and an apparatus capable of performing the same.

일반적으로 지능형 영상 관제 시스템은 침입 탐지, 객체의 검출 및 추적, 사람 계수 등의 기능을 제공한다.In general, an intelligent video control system provides functions such as intrusion detection, object detection and tracking, and human counting.

이러한 지능형 기능들을 사용하기 위해서는 미리 이벤트를 설정하여야 동작이 가능하다. 예를 들어 침입 탐지의 경우 미리 침입 탐지 이벤트를 발생시킬 영역을 사전에 설정하고, 이 영역에 객체가 지나갔을 때 알람을 발생시키거나 이벤트 정보를 데이터베이스에 저장하여야 추후에 검색을 통하여 분석할 수 있다. 사람 계수의 경우도 계수를 수행할 관심 영역이나 기준선을 미리 설정해야만 해당 설정에 대한 통계치를 확보할 수 있다.In order to use these intelligent functions, an event must be set in advance to operate. For example, in the case of intrusion detection, an area in which an intrusion detection event is to be generated is set in advance, and when an object passes in this area, an alarm is generated or event information is stored in a database for later analysis. In the case of human counting, it is possible to obtain a statistical value for the setting only by setting an area of interest or a baseline to perform counting in advance.

그런데, 이러한 접근 방법은 특정 사건이 발생한 후 해당 사건을 분석하기 위하여 다양한 관심 영역을 사후에 설정할 경우에 이미 축적된 이벤트 정보를 통하여서는 분석이 불가능할 수 있다. 혹은 많은 양의 데이터를 미리 저장하고 검색 시에 분석할 경우에는 검색 시간이 오래 걸리게 된다.However, this approach may not be possible to analyze through event information that has already been accumulated when various areas of interest are set in the post to analyze the event after the occurrence of a specific event. Or, if a large amount of data is stored in advance and analyzed at the time of search, the search time may be long.

특히, 객체의 움직임 경로 정보의 경우에는 객체의 영상 내 좌표 정보의 묶음으로 구성이 되는데 이러한 데이터를 관계형 데이터베이스에 저장하기 위해서는 한 객체에 대하여 여러 행(row)으로 구성을 하거나 한 열(column)에 모든 데이터를 저장하는 형태로 저장이 가능하다. 이 경우 SQL(Structured Query Language)만으로는 원하는 검색 결과를 찾아내기 어렵고 경로 정보를 모두 읽어온 후 알고리즘 단에서 다시 분석을 수행하여야 하는 문제가 있다. 예를 들어, 1시간 동안 특정 기준선을 지나간 객체의 수를 알고 싶다고 할 때에 1시간 동안 영상 내 만개의 객체가 나타났다고 가정하면 데이터베이스에서 만개의 객체 동선 정보를 읽어와서 해당 동선이 사후에 결정된 기준선을 지나가는지 추가적인 분석을 하여야만 결과를 얻을 수 있다.In particular, in the case of the motion path information of an object, it is composed of a bundle of coordinate information in the image of the object. In order to store such data in a relational database, an object is composed of multiple rows or columns. It can be saved in the form of storing all data. In this case, it is difficult to find the desired search result using SQL (Structured Query Language) alone, and there is a problem in that the algorithm step must be analyzed again after reading all the path information. For example, if you want to know the number of objects that have passed a certain baseline for 1 hour, assuming that 10,000 objects in the image have appeared for 1 hour, read the information of 10,000 objects in the database, and the corresponding line will pass the determined baseline. However, further analysis is required to obtain results.

한국공개특허 제10-2014-0029069호, 공개일자 2014년 03월 10일.Korean Patent Publication No. 10-2014-0029069, published date March 10, 2014.

본 발명의 실시예에 따르면, 영상을 분할하여 복수의 셀로 구획한 후에 감시 대상 객체의 셀별 진입/진출 정보를 포함하는 특징 정보를 저장하는 영상 감시 방법 및 장치를 제공한다.According to an embodiment of the present invention, an image surveillance method and apparatus for storing feature information including entry/exit information for each cell of an object to be monitored after segmenting an image into a plurality of cells is provided.

본 발명의 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The problem to be solved of the present invention is not limited to those mentioned above, and another problem to be solved that is not mentioned will be clearly understood by a person having ordinary knowledge to which the present invention belongs from the following description.

본 발명의 일 관점에 따른 영상 감시 장치에 의한 영상 감시 방법은, 감시 대상 객체에 대응하여 단위 셀 크기를 설정하는 단계와, 상기 설정된 단위 셀 크기에 따라 영상을 분할하여 복수의 셀로 구획하는 단계와, 복수의 영상 프레임에서 상기 감시 대상 객체의 움직임 정보를 추출하여 상기 구획된 각 셀별로 진입 시간, 진출 시간 또는 진출 방향 중에서 적어도 하나 이상을 포함하는 특징 정보를 생성하는 단계와, 상기 복수의 셀에 대하여 상기 생성된 특징 정보를 각 셀별로 저장하는 단계와, 상기 복수의 셀 중에서, 상기 영상 프레임에 설정된 기준선에 중첩되는 셀들을 대상으로 상기 특징 정보를 검색하여 제공하는 단계를 포함할 수 있다.According to an aspect of the present invention, an image monitoring method using an image monitoring apparatus includes setting a unit cell size corresponding to an object to be monitored, dividing an image according to the set unit cell size, and dividing the image into a plurality of cells. , Extracting motion information of the object to be monitored from a plurality of image frames to generate feature information including at least one of an entry time, an advance time, or an advance direction for each of the divided cells, and the plurality of cells The method may include storing the generated feature information for each cell, and searching for and providing the feature information to cells overlapping a reference line set in the image frame among the plurality of cells.

본 발명의 다른 관점에 따른 영상 감시 장치는, 감시 대상 객체에 대응하여 단위 셀 크기를 설정하는 단위 셀 설정부와, 상기 설정된 단위 셀 크기에 따라 영상을 분할하여 복수의 셀로 구획하는 영상 셀 구획부와, 복수의 영상 프레임에서 상기 감시 대상 객체의 움직임 정보를 추출하는 움직임 정보 추출부와, 상기 추출된 움직임 정보에 따라 상기 구획된 각 셀별로 진입 시간, 진출 시간 또는 진출 방향 중에서 적어도 하나 이상을 포함하는 특징 정보를 생성하는 셀별 정보 생성부를 포함할 수 있다.An image monitoring apparatus according to another aspect of the present invention includes a unit cell setting unit that sets a unit cell size corresponding to an object to be monitored, and an image cell division unit that divides an image according to the set unit cell size and divides the image into a plurality of cells. And a motion information extraction unit for extracting motion information of the object to be monitored from a plurality of image frames, and at least one of an entry time, an advance time, or an advance direction for each of the partitioned cells according to the extracted motion information. It may include a cell-specific information generating unit for generating the characteristic information.

본 발명의 실시예에 의하면, 영상을 분할하여 복수의 셀로 구획한 후에 감시 대상 객체의 셀별 진입 정보, 진출 정보, 진출 방향 정보 등을 포함하는 특징 정보를 생성할 수 있다.According to an embodiment of the present invention, after segmenting an image and dividing the image into a plurality of cells, feature information including entry information, entry information, entry direction information for each cell of the object to be monitored may be generated.

따라서, 특징 정보가 저장된 관계형 데이터베이스를 활용하는 지능형 영상 관제 시스템에서 빠른 속도의 검색이 가능해지고, 데이터베이스에 많은 양의 데이터가 기록되어 있어도 별도의 컴퓨팅 자원을 점유하지 않고서도 원하는 검색 결과를 획득할 수 있는 효율성을 가진다. 특히, 멀티 카메라 기반의 영상 관제 시스템에서는 축적되는 데이터의 양이 방대하기 때문에 검색의 효율성이 더욱 향상되는 효과가 있다.Therefore, it is possible to perform a fast search in an intelligent video control system using a relational database in which feature information is stored, and obtain desired search results without occupying separate computing resources even if a large amount of data is recorded in the database. Have a high efficiency. In particular, in the multi-camera-based image control system, the amount of accumulated data is vast, so that the efficiency of search is further improved.

도 1은 본 발명의 실시예에 따른 영상 감시 장치의 블록 구성도이다.
도 2는 본 발명의 실시예에 따른 영상 감시 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명의 실시예에 따라 복수의 셀로 구획된 영상의 예시도이다.
도 4는 본 발명의 실시예에 따라 원근에 의거하여 셀의 크기를 변화시킨 영상의 예시도이다.
도 5는 본 발명의 실시예에 따라 관심 영역이 설정된 영상의 예시도이다.
도 6은 본 발명의 실시예에 따라 기준선이 설정된 영상의 예시도이다.
도 7은 본 발명의 실시예에 따라 기준선과 진행 방향이 설정된 영상의 예시도이다.
도 8은 본 발명의 실시예에 따라 방향에 대한 각도 정보를 양자화된 값으로 생성하기 위한 방향 분할 예시도이다.
도 9는 본 발명의 실시예에 따라 생성된 셀별 특징 정보를 이용한 검색 과정을 설명하기 위한 흐름도이다.1 is a block diagram of an image monitoring apparatus according to an embodiment of the present invention.
2 is a flowchart illustrating an image monitoring method according to an embodiment of the present invention.
3 is an exemplary view of an image partitioned into a plurality of cells according to an embodiment of the present invention.
4 is an exemplary view of an image in which the size of a cell is changed based on perspective according to an embodiment of the present invention.
5 is an exemplary view of an image in which a region of interest is set according to an embodiment of the present invention.
6 is an exemplary view of an image in which a reference line is set according to an embodiment of the present invention.
7 is an exemplary view of an image in which a reference line and a traveling direction are set according to an embodiment of the present invention.
8 is an example of direction division for generating angle information for a direction as a quantized value according to an embodiment of the present invention.
9 is a flowchart illustrating a search process using feature information for each cell generated according to an embodiment of the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.Advantages and features of the present invention, and methods for achieving them will be clarified with reference to embodiments described below in detail together with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various different forms, and only the embodiments allow the disclosure of the present invention to be complete, and common knowledge in the technical field to which the present invention pertains. It is provided to completely inform the person having the scope of the invention, and the present invention is only defined by the scope of the claims.

본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In describing embodiments of the present invention, when it is determined that a detailed description of known functions or configurations may unnecessarily obscure the subject matter of the present invention, the detailed description will be omitted. In addition, terms to be described later are terms defined in consideration of functions in an embodiment of the present invention, which may vary according to a user's or operator's intention or practice. Therefore, the definition should be made based on the contents throughout this specification.

도 1은 본 발명의 실시예에 따른 영상 감시 장치의 블록 구성도이다.1 is a block diagram of an image monitoring apparatus according to an embodiment of the present invention.

이에 나타낸 바와 같이 실시예에 따른 영상 감시 장치(100)는, 영상 입력부(110), 객체 검출부(120), 단위 셀 설정부(130), 영상 셀 구획부(140), 움직임 정보 추출부(150), 셀별 정보 생성부(160), 특징 정보 저장부(170) 등을 포함한다.As shown in this, the image monitoring apparatus 100 according to the embodiment includes an image input unit 110, an object detection unit 120, a unit cell setting unit 130, an image cell division unit 140, and a motion information extraction unit 150 ), a cell-specific information generation unit 160, a feature information storage unit 170, and the like.

영상 입력부(110)는 감시 대상 객체가 포함되어 있는 영상을 입력 받아 복수의 영상 프레임을 추출한다.The image input unit 110 receives an image containing an object to be monitored and extracts a plurality of image frames.

객체 검출부(120)는 영상 입력부(110)에 의해 추출된 복수의 영상 프레임을 대상으로 하여 감시 대상 객체를 검출한다. 예컨대, 에지 정보를 추출하여 윤곽선을 파악한 후에 영상 필터링을 통해 소정의 감시 대상 객체를 검출할 수 있다.The object detection unit 120 detects an object to be monitored by targeting a plurality of image frames extracted by the image input unit 110. For example, after extracting edge information and grasping the contour, a predetermined object to be monitored can be detected through image filtering.

단위 셀 설정부(130)는 감시 대상 객체에 대응하여 단위 셀 크기를 설정한다. 여기서, 단위 셀 크기는 감시 대상 객체의 크기보다 작게 설정할 수 있다. 영상 내에서 감시 대상 객체의 크기는 원근에 따라 달라질 수 있는데, 감시 대상 객체의 최대 길이보다 단위 셀 크기를 더 작게 설정할 수 있다.The unit cell setting unit 130 sets the unit cell size corresponding to the object to be monitored. Here, the unit cell size may be set smaller than the size of the object to be monitored. The size of the object to be monitored in the image may vary depending on the perspective, but the unit cell size may be set smaller than the maximum length of the object to be monitored.

영상 셀 구획부(140)는 단위 셀 설정부(130)에 의해 설정된 단위 셀 크기에 따라 영상을 분할하여 복수의 셀로 구획한다. 여기서, 영상 내의 원근에 따라 단위 셀 크기가 변화되게 영상을 분할하여 셀들을 구획할 수 있다. 감시 대상 객체가 영상 내에서 가까운 쪽에 위치할 때에는 먼 쪽에 위치할 때보다 더 크기 때문에 단위 셀 크기 또한 더 크게 구획하며, 영상 내에서 먼 쪽에 위치할 때에는 가까운 쪽에 위치할 때보다 더 작기 때문에 단위 셀 크기 또한 더 작게 구획할 수 있다.The image cell division unit 140 divides an image according to the unit cell size set by the unit cell setting unit 130 and divides the image into a plurality of cells. Here, the cells may be divided by dividing the image so that the unit cell size changes according to the perspective in the image. When the object to be monitored is located closer to the far side in the image, the unit cell size is also larger because it is larger than the far side. When located farther in the image, the unit cell size is smaller than when it is located closer to the far side. It can also be partitioned smaller.

움직임 정보 추출부(150)는 영상 입력부(110)에 의해 추출된 복수의 영상 프레임을 대상으로 하여 감시 대상 객체의 움직임 정보를 추출한다.The motion information extraction unit 150 extracts motion information of an object to be monitored by targeting a plurality of image frames extracted by the image input unit 110.

셀별 정보 생성부(160)는 움직임 정보 추출부(150)에 의해 추출된 움직임 정보에 따라 감시 대상 객체가 각 셀에 위치하거나 지나갔는지에 대한 통과 구분 정보, 각 셀에 진입한 시간을 나타내는 진입 시간 정보, 각 셀에서 진출한 시간을 나타내는 진출 시간 정보, 각 셀에서 진출할 때의 방향을 나타내는 진출 방향 정보 등을 포함하는 특징 정보를 구획된 각 셀별로 생성한다.The cell-specific information generating unit 160 passes the pass classification information on whether the object to be monitored is located or passed in each cell according to the motion information extracted by the motion information extracting unit 150, and an entry time indicating a time when each cell is entered. Feature information including information, advance time information indicating the time of advancement in each cell, advancement direction information indicating a direction for advancing from each cell, and the like is generated for each partitioned cell.

특징 정보 저장부(170)는 셀별 정보 생성부(160)에 의해 생성된 각 셀별 통과 구분 정보, 진입 시간 정보, 진출 시간 정보 및 진출 방향 정보 등을 포함하는 셀별 특징 정보를 저장한다. 예컨대, 이렇게 셀별 특징 정보를 저장하는 것은 지능형 영상 관제 시스템 등에서 활용하는 관계형 데이터베이스를 구축하는 경우라 할 수 있다.The feature information storage unit 170 stores feature information for each cell including pass classification information for each cell, entry time information, advance time information, and advance direction information generated by the cell-specific information generation unit 160. For example, storing the feature information for each cell in this way can be said to be a case of constructing a relational database used in an intelligent video control system.

도 2는 본 발명의 실시예에 따른 영상 감시 방법을 설명하기 위한 흐름도이다.2 is a flowchart illustrating an image monitoring method according to an embodiment of the present invention.

이에 나타낸 바와 같이 실시예에 따른 영상 감시 방법은, 입력된 영상에서 복수의 영상 프레임을 추출한 후에 감시 대상 객체를 검출하는 단계(S201 및 S203)를 포함한다.As shown in this, the image monitoring method according to the embodiment includes the steps of detecting objects to be monitored after extracting a plurality of image frames from the input image (S201 and S203).

그리고, 감시 대상 객체에 대응하여 단위 셀 크기를 설정하는 단계(S205)를 더 포함한다.And, further comprising the step of setting the unit cell size in accordance with the object to be monitored (S205).

이어서, 설정된 단위 셀 크기에 따라 영상을 분할하여 복수의 셀로 구획하는 단계(S207)를 더 포함한다.Subsequently, the method further includes dividing the image according to the set unit cell size and dividing the image into a plurality of cells (S207).

아울러, 복수의 영상 프레임에서 감시 대상 객체의 움직임 정보를 추출하는 단계(S209)를 더 포함한다.In addition, further comprising the step of extracting the motion information of the object to be monitored from a plurality of image frames (S209).

그리고, 구획된 각 셀별로 감시 대상 객체의 움직임 정보에 의거하여, 각 셀에 위치하거나 지나갔는지에 대한 통과 구분 정보, 진입 시간 정보, 진출 시간 정보, 진출 방향 정보 등을 포함하는 셀별 특징 정보를 생성 및 저장하는 단계(S211)를 더 포함한다.Then, based on the motion information of the object to be monitored for each partitioned cell, feature information for each cell including passage classification information, entry time information, advance time information, advance direction information, etc., which is located in or passed by each cell is generated. And storing (S211).

도 3은 본 발명의 실시예에 따라 복수의 셀로 구획된 영상의 예시도이며, 도 4는 본 발명의 실시예에 따라 원근에 의거하여 셀의 크기를 변화시킨 영상의 예시도이다.3 is an exemplary view of an image divided into a plurality of cells according to an embodiment of the present invention, and FIG. 4 is an exemplary view of an image in which the cell size is changed based on perspective according to an embodiment of the present invention.

도 5는 본 발명의 실시예에 따라 관심 영역이 설정된 영상의 예시도이며, 도 6은 본 발명의 실시예에 따라 기준선이 설정된 영상의 예시도이고, 도 7은 본 발명의 실시예에 따라 기준선과 진행 방향이 설정된 영상의 예시도이며, 도 8은 본 발명의 실시예에 따라 방향에 대한 각도 정보를 양자화된 값으로 생성하기 위한 방향 분할 예시도이다.5 is an exemplary view of an image in which a region of interest is set according to an embodiment of the present invention, FIG. 6 is an exemplary view of an image in which a reference line is set according to an embodiment of the present invention, and FIG. 7 is a reference line according to an embodiment of the present invention And an example of an image in which a traveling direction is set, and FIG. 8 is an exemplary diagram of direction division for generating angle information for a direction as a quantized value according to an embodiment of the present invention.

이하, 도 1 내지 도 8을 참조하여 본 발명의 실시예에 따른 영상 감시 장치에 의한 영상 감시 방법에 대해 더 자세히 살펴보기로 한다.Hereinafter, an image monitoring method by the image monitoring apparatus according to an embodiment of the present invention will be described in more detail with reference to FIGS. 1 to 8.

먼저, 감시 대상 객체가 포함되어 있는 영상이 입력되면 영상 입력부(110)는 입력된 영상으로부터 복수의 영상 프레임을 추출한다(S201).First, when an image including an object to be monitored is input, the image input unit 110 extracts a plurality of image frames from the input image (S201).

이어서, 객체 검출부(120)는 영상 입력부(110)에 의해 추출된 복수의 영상 프레임을 대상으로 하여 감시 대상 객체를 검출한다. 예컨대, 객체 검출부(120)는 에지 정보를 추출하여 윤곽선을 파악한 후에 영상 필터링을 통해 소정의 감시 대상 객체를 검출할 수 있다. 에지 성분 영상을 추출하기 위해 DoG(Difference of Gaussian) 에지 검출법, 소벨(sobel) 에지 검출법, 프리윗(prewitt) 에지 검출법, 해리스(harris) 에지 검출법 등을 이용할 수 있다(S203).Subsequently, the object detection unit 120 detects an object to be monitored by targeting a plurality of image frames extracted by the image input unit 110. For example, the object detection unit 120 may extract the edge information, grasp the outline, and then detect a predetermined object to be monitored through image filtering. In order to extract the edge component image, a Difference of Gaussian (DoG) edge detection method, a sobel edge detection method, a prewitt edge detection method, a Harris edge detection method, or the like may be used (S203).

그리고, 단위 셀 설정부(130)는 감시 대상 객체에 대응하여 단위 셀 크기를 설정한다. 여기서, 단위 셀 설정부(130)는 단위 셀 크기를 감시 대상 객체의 크기보다 작게 설정할 수 있다. 또, 영상 내에서 감시 대상 객체의 크기는 원근에 따라 달라질 수 있는데, 감시 대상 객체의 최대 길이보다 단위 셀 크기를 더 작게 설정할 수 있다. 예컨대, 단위 셀을 사각 형상으로 설정할 때에 한 변의 길이가 감시 대상 객체의 크기와 비교할 때에 대략 절반 정도의 크기를 가지도록 설정할 수 있다(S205).Then, the unit cell setting unit 130 sets the unit cell size in correspondence with the object to be monitored. Here, the unit cell setting unit 130 may set the unit cell size smaller than the size of the object to be monitored. In addition, the size of the object to be monitored in the image may vary depending on perspective, and the unit cell size may be set smaller than the maximum length of the object to be monitored. For example, when the unit cell is set to a square shape, the length of one side may be set to have a size of about half when compared with the size of the object to be monitored (S205).

그러면, 영상 셀 구획부(140)는 단위 셀 설정부(130)에 의해 설정된 단위 셀 크기에 따라 영상을 분할하여 복수의 셀로 구획한다. 예컨대, 도 3에 나타낸 바와 같이 영상을 복수의 셀(301)로 구획할 수 있다.Then, the image cell division unit 140 divides the image according to the unit cell size set by the unit cell setting unit 130 and divides the image into a plurality of cells. For example, as illustrated in FIG. 3, an image may be divided into a plurality of cells 301.

여기서, 영상 셀 구획부(140)는 영상 내의 원근에 따라 단위 셀 크기가 변화되게 영상을 분할하여 셀들을 구획할 수 있다. 감시 대상 객체가 영상 내에서 가까운 쪽에 위치할 때에는 먼 쪽에 위치할 때보다 더 크기 때문에 단위 셀 크기 또한 더 크게 구획하며, 영상 내에서 먼 쪽에 위치할 때에는 가까운 쪽에 위치할 때보다 더 작기 때문에 단위 셀 크기 또한 더 작게 구획할 수 있다. 예컨대, 도 4에 나타낸 바와 같이 영상 내에서 가까운 쪽의 단위 셀(301)보다 먼 쪽의 단위 셀(303)을 더 작게 구획할 수 있다. 도 4에는 단위 셀(301, 303)의 크기를 2종으로 예시하였지만 그 이상의 다양한 크기를 가질 수 있다(S207).Here, the image cell partitioning unit 140 may divide the image to divide the cells such that the unit cell size changes according to perspective in the image. When the object to be monitored is located closer to the far side in the image, the unit cell size is also larger because it is larger than the far side. When located farther in the image, the unit cell size is smaller than when it is located closer to the far side. It can also be partitioned smaller. For example, as shown in FIG. 4, a unit cell 303 on the far side may be smaller than the unit cell 301 on the near side in the image. In FIG. 4, the sizes of the unit cells 301 and 303 are illustrated as two types, but may have various sizes beyond that (S207 ).

다음으로, 움직임 정보 추출부(150)는 영상 입력부(110)에 의해 추출된 복수의 영상 프레임을 대상으로 하여 감시 대상 객체의 움직임 정보를 추출한다(S209).Next, the motion information extracting unit 150 extracts motion information of an object to be monitored using a plurality of image frames extracted by the image input unit 110 (S209).

그리고, 셀별 정보 생성부(160)는 움직임 정보 추출부(150)에 의해 추출된 움직임 정보에 따라 감시 대상 객체가 각 셀에 위치하거나 지나갔는지에 대한 통과 구분 정보, 각 셀에 진입한 시간을 나타내는 진입 시간 정보, 각 셀에서 진출한 시간을 나타내는 진출 시간 정보, 각 셀에서 진출할 때의 방향을 나타내는 진출 방향 정보 등을 포함하는 특징 정보를 구획된 각 셀별로 생성한다. 여기서, 셀별 정보 생성부(160)는 통과 구분 정보, 진입 시간 정보, 진출 시간 정보, 진출 방향 정보 중에서 필요에 따라 일부의 특징 정보만을 생성하거나 또는 모든 특징 정보를 생성할 수도 있다.In addition, the cell-specific information generation unit 160 indicates the passage classification information on whether the object to be monitored is located or passed in each cell according to the motion information extracted by the motion information extraction unit 150, and the time of entering each cell. Feature information including entry time information, advance time information indicating the time of advancement in each cell, and advancement direction information indicating a direction of advancement in each cell is generated for each partitioned cell. Here, the cell-specific information generating unit 160 may generate only some of the feature information or all feature information, as needed, among the pass classification information, the entry time information, the entry time information, and the entry direction information.

아울러, 특징 정보 저장부(170)는 셀별 정보 생성부(160)에 의해 생성된 각 셀별 통과 구분 정보, 진입 시간 정보, 진출 시간 정보 및 진출 방향 정보 등을 포함하는 셀별 특징 정보를 저장한다. 여기서, 특징 정보 저장부(170)는 통과 구분 정보, 진입 시간 정보, 진출 시간 정보, 진출 방향 정보 중에서 셀별 정보 생성부(160)에 의해 생성된 적어도 하나 이상의 특정 정보를 저장할 수 있다. 예컨대, 이렇게 셀별 특징 정보를 저장하는 것은 지능형 영상 관제 시스템 등에서 활용하는 관계형 데이터베이스를 구축하는 경우라 할 수 있다(S211).In addition, the feature information storage unit 170 stores feature information for each cell, including passage classification information, entry time information, entry time information and entry direction information for each cell generated by the information generation unit 160 for each cell. Here, the feature information storage unit 170 may store at least one or more specific information generated by the cell-specific information generation unit 160 among the passage classification information, the entry time information, the entry time information, and the entry direction information. For example, storing the feature information for each cell in this way can be said to be a case of constructing a relational database used in an intelligent image control system (S211).

예컨대, 특징 정보 저장부(170)가 셀별 정보 생성부(160)에 의해 생성된 각 셀별 통과 구분 정보를 저장하는 경우라면 아래의 표 1과 같이 객체 ID 및 셀 ID와 함께 셀별 통과 구분 정보를 1(통과) 또는 0(미통과)로 표현하여 저장할 수 있다. 이하의 표에서는 객체 ID를 숫자로 표현하고, 셀 ID를 영상 프레임 내의 가로 순서 및 세로 순서로 표현하였지만 이는 변경될 수 있다. For example, if the feature information storage unit 170 stores the passage classification information for each cell generated by the cell-specific information generation unit 160, as shown in Table 1 below, the object ID and the cell ID along with the passage identification for each cell 1 It can be stored as expressed as (passed) or 0 (unpassed). In the table below, the object ID is expressed as a number, and the cell ID is expressed in a horizontal order and a vertical order in an image frame, but this can be changed.

객체 IDObject ID 셀 ID (1,1)Cell ID (1,1) 셀 ID (1,2)Cell ID (1,2) 셀 ID (1,3)Cell ID (1,3) …… 1One 1One 1One 00 …… 22 00 1One 00 ……

특징 정보 저장부(170)가 셀별 정보 생성부(160)에 의해 생성된 각 셀별 진입 시간 정보 또는 진출 시간 정보를 저장하는 경우라면 아래의 표 2와 같이 객체 ID 및 셀 ID와 함께 셀별 진입 또는 진출 시간 정보(예컨대, 시:분:초)를 12시간 단위 또는 24시간 단위로 표현하여 저장할 수 있다.If the feature information storage unit 170 stores the entry time information or the entry time information for each cell generated by the information generation unit 160 for each cell, as shown in Table 2 below, the object ID and cell ID are entered or advanced for each cell. Time information (eg, hour:minute:second) can be expressed and stored in 12-hour units or 24-hour units.

객체 IDObject ID 셀 ID (1,1)Cell ID (1,1) 셀 ID (1,2)Cell ID (1,2) 셀 ID (1,3)Cell ID (1,3) …… 1One 13:10:2113:10:21 13:10:2313:10:23 …… 22 14:10:1014:10:10 ……

도 5는 본 발명의 실시예에 따라 관심 영역이 설정된 영상의 예시도이다. 표 1 또는 표 2와 같이 특징 정보 저장부(170)에 각 셀별로 특징 정보가 저장된 경우라면 도 5와 같이 관심 영역(305)이 설정될 경우에 관심 영역(305)에 중첩되는 셀들을 대상으로 하여 통과 여부, 진입 시간 또는 진출 시간 등을 검색할 수 있다. 5 is an exemplary view of an image in which a region of interest is set according to an embodiment of the present invention. If feature information is stored for each cell in the feature information storage unit 170 as shown in Table 1 or Table 2, when the region of interest 305 is set as shown in FIG. 5, cells overlapping the region of interest 305 are targeted. Therefore, it is possible to search for passing, entering time or entering time.

도 6은 본 발명의 실시예에 따라 기준선이 설정된 영상의 예시도이다. 표 1 또는 표 2와 같이 특징 정보 저장부(170)에 각 셀별로 특징 정보가 저장된 경우라면 도 6과 같이 기준선(307)이 설정될 경우에 기준선(307)에 중첩되는 셀들을 대상으로 하여 통과 여부, 진입 시간 또는 진출 시간 등을 검색할 수 있다.6 is an exemplary view of an image in which a reference line is set according to an embodiment of the present invention. If the feature information is stored for each cell in the feature information storage unit 170 as shown in Table 1 or Table 2, when the reference line 307 is set as shown in FIG. 6, cells that overlap the reference line 307 are passed as targets. Whether or not, entry time or entry time can be searched.

도 7은 본 발명의 실시예에 따라 기준선과 진행 방향이 설정된 영상의 예시도이다. 도 7에 예시된 바와 같이 기준선(307)의 통과 여부와 함께 기준선(307)을 기준으로 하여 소정의 각도 범위(311)에서 특정 방향(309)으로 통과하는 객체에 대한 검색이 요청될 수 있다. 이를 위해, 특징 정보 저장부(170)는 셀별 정보 생성부(160)에 의해 생성된 셀별 특징 정보에 의거하여 표 3과 같이 객체 ID 및 셀 ID와 함께 셀별 진출 시간 정보와 진출 방향 정보를 각도로 표현하여 저장할 수 있다. 예컨대, 셀별 진출 방향에 대한 각도 정보는 영상 프레임의 수직축을 90°라고 임의 설정하여 이를 기준으로 삼을 수 있다.7 is an exemplary view of an image in which a reference line and a traveling direction are set according to an embodiment of the present invention. As illustrated in FIG. 7, a search for an object passing in a specific direction 309 in a predetermined angular range 311 based on the reference line 307 along with whether the reference line 307 passes may be requested. To this end, the feature information storage unit 170, based on the feature information for each cell generated by the cell-specific information generating unit 160, as shown in Table 3, the object ID and cell ID along with the time information for each cell and the direction of the information for each direction. Can be expressed and saved. For example, the angle information for the advance direction for each cell may be set as a reference by arbitrarily setting the vertical axis of the image frame to 90°.

객체 IDObject ID 셀ID(1,1)
진출 시간Cell ID(1,1)
Advance time 셀ID(1,1)
진출 방향Cell ID(1,1)
Advance direction 셀ID(1,2)
진출 시간Cell ID(1,2)
Advance time 셀ID(1,2)
진출 방향Cell ID(1,2)
Advance direction 셀ID(1,3)
진출 시간Cell ID(1,3)
Advance time 셀ID(1,3)
진출 방향Cell ID(1,3)
Advance direction …… 1One 13:10:2113:10:21 32°32° 13:10:2313:10:23 35°35° …… 22 14:10:1014:10:10 95°95° ……

한편, 도 6 및 도 7에 예시한 기준선(307)을 기준으로 하여 하나의 객체가 양방향으로 두 번 이상 지나갔을 경우에 표 3과 같이 각도 정보로 표현한다면 각도 정보를 중복하여 저장하여야 하며, 이때는 중복된 각도 정보에 대한 구별이 필요할 수 있다. 이를 보완하기 위해, 셀별 정보 생성부(160)는 진출 방향에 대한 각도 정보를 양자화된 값으로 생성하며, 특징 정보 저장부(170)는 역시 진출 방향에 대한 각도 정보를 양자화(quantized)된 값으로 저장할 수 있으며, 검색시에도 진출 방향에 대한 각도 정보를 양자화된 값으로 지정 또는 입력하여 검색할 수 있다.On the other hand, if one object passes more than two times in both directions based on the reference line 307 illustrated in FIGS. 6 and 7, if angle information is expressed as shown in Table 3, the angle information must be duplicated and stored. It may be necessary to distinguish the angle information. To compensate for this, the cell-specific information generation unit 160 generates angle information for the advance direction as a quantized value, and the feature information storage unit 170 also quantizes the angle information for the advance direction as a quantized value. It can be stored and can be searched by specifying or entering the angle information for the advance direction as a quantized value even when searching.

도 8은 본 발명의 실시예에 따라 방향에 대한 각도 정보를 양자화된 값으로 생성하기 위한 방향 분할 예시도이다.8 is an example of direction division for generating angle information for a direction as a quantized value according to an embodiment of the present invention.

도 8의 예시와 같이, 360°를 8등분하면 0에서 7의 값으로 방향 정보를 분류할 수 있다. 이 때, 객체가 1과 4의 방향으로 이동하였다면 아래의 표 4와 같이 양자화를 위한 지수를 결정하고, 수학식 1에 예시한 비트(bit) 연산을 통해 셀별 진출 방향에 대한 양자화 값으로 18의 값을 특징 정보 저장부(170)에 저장할 수 있다.As illustrated in FIG. 8, if 360° is divided into 8 equal parts, direction information may be classified into values of 0 to 7. At this time, if the object has moved in the directions of 1 and 4, the index for quantization is determined as shown in Table 4 below, and the bit quantization illustrated in Equation 1 is used to quantize the value of 18 for the advance direction for each cell. The value may be stored in the feature information storage unit 170.

77 66 55 44 33 22 1One 00 00 00 00 1One 00 00 1One 00

Figure 112014090271907-pat00001
Figure 112014090271907-pat00001

예컨대, 특징 정보 저장부(170)가 객체 ID 및 셀 ID와 함께 셀별 진출 시간 정보와 진출 방향 정보를 저장할 때에 진출 방향 정보를 아래의 표 5와 같이 양자화된 값으로 저장할 수 있다.For example, when the feature information storage unit 170 stores the advance time information and the advance direction information for each cell together with the object ID and the cell ID, the advance direction information may be stored as a quantized value as shown in Table 5 below.

객체 IDObject ID 셀ID(1,1)
진출 시간Cell ID(1,1)
Advance time 셀ID(1,1)
진출 방향Cell ID(1,1)
Advance direction 셀ID(1,2)
진출 시간Cell ID(1,2)
Advance time 셀ID(1,2)
진출 방향Cell ID(1,2)
Advance direction 셀ID(1,3)
진출 시간Cell ID(1,3)
Advance time 셀ID(1,3)
진출 방향Cell ID(1,3)
Advance direction …… 1One 13:10:2113:10:21 1818 13:10:2313:10:23 6262 …… 22 16:20:1016:20:10 4444 ……

도 9는 본 발명의 실시예에 따라 생성된 셀별 특징 정보를 이용한 검색 과정을 설명하기 위한 흐름도이다.9 is a flowchart illustrating a search process using feature information for each cell generated according to an embodiment of the present invention.

먼저, 도 5에 예시한 바와 같이 관심 영역(305)을 지정 또는 입력(S401)하고자 할 때에 영상 셀 구획부(140)에 의해 구획된 셀들 중에서 관심 영역(305)에 중첩된 셀들의 위치를 우선 파악한다. 즉, 중첩 셀들의 셀 ID를 파악한다. 이때, 관심 영역(305)과 함께 도 7에 예시한 바와 같이 특정 방향(309)을 함께 지정 검색하고자 할 때에는 지정된 특정 방향(309)을 중심으로 하여 소정의 각도 범위(311)를 설정하여 셀별 진출 방향에 대한 양자화된 값을 계산한다(S403).First, as illustrated in FIG. 5, when attempting to designate or input the region of interest 305 (S401), the cells overlapped by the region of interest 305 among the cells partitioned by the image cell partitioning unit 140 are given priority. Grasp. That is, the cell IDs of the overlapping cells are determined. At this time, as illustrated in FIG. 7 together with the region of interest 305, when a specific direction 309 is to be searched and specified, a predetermined angular range 311 is set around the specified specific direction 309 to advance to each cell. The quantized value for the direction is calculated (S403).

예컨대, 도 8과 같은 방향 분할 예시도에서 기준선을 7과 3의 방향으로 그었고 1방향으로 움직인 객체를 검색하고 싶다면 0, 1, 2의 방향으로 지나간 객체를 검색하여야 하기 때문에 아래의 표 6과 같이 양자화를 위한 지수를 결정하고, 수학식 2에 예시한 비트 연산을 통해 셀별 진출 방향에 대한 양자화 값으로 7의 값을 결정할 수 있다.For example, in the example of dividing the direction as shown in FIG. 8, if the reference line is drawn in the directions of 7 and 3 and you want to search for an object moved in one direction, you must search for objects that have passed in the directions of 0, 1, and 2, below Table 6 As described above, an index for quantization may be determined, and a value of 7 may be determined as a quantization value for each cell advance direction through a bit operation illustrated in Equation (2).

77 66 55 44 33 22 1One 00 00 00 00 00 00 1One 1One 1One

Figure 112014090271907-pat00002
Figure 112014090271907-pat00002

이렇게, 결정된 셀별 진출 방향에 대한 양자화 값과 셀 ID 및 해당 셀의 진출 시간 정보가 포함된 SQL(Structured Query Language) 질의문이 생성(S405) 및 입력되면 단계 S211에서 특징 정보 저장부(170)에 저장된 셀별 특징 정보가 검색되며(S407), 지능형 영상 관제 시스템 등에 의해 특징 정보 저장부(170)에 대한 검색 결과가 표현 및 제공될 수 있다(S409).In this way, when a structured query language (SQL) query statement including the determined quantization value for each cell advance direction and the cell ID and the advance time of the cell is generated (S405) and input, the feature information storage unit 170 in step S211 The stored feature information for each cell is searched (S407), and a search result for the feature information storage unit 170 may be expressed and provided by an intelligent image control system (S409).

지금까지 설명한 바와 같이 본 발명의 실시예에 따르면, 영상을 분할하여 복수의 셀로 구획한 후에 감시 대상 객체의 셀별 진입 정보, 진출 정보, 진출 방향 정보 등을 포함하는 특징 정보를 생성 및 저장할 수 있다.As described so far, according to an embodiment of the present invention, after segmenting an image and dividing it into a plurality of cells, it is possible to generate and store feature information including entry information, entry information, entry direction information for each cell of a monitored object.

따라서, 특징 정보가 저장된 관계형 데이터베이스를 활용하는 지능형 영상 관제 시스템에서 빠른 속도의 검색이 가능해지고, 데이터베이스에 많은 양의 데이터가 기록되어 있어도 별도의 컴퓨팅 자원을 점유하지 않고서도 원하는 검색 결과를 획득할 수 있는 효율성을 가진다.Therefore, it is possible to perform a fast search in an intelligent video control system using a relational database in which feature information is stored, and obtain desired search results without occupying separate computing resources even if a large amount of data is recorded in the database. Have a high efficiency.

본 발명에 첨부된 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.Combinations of each step of the flowchart attached to the present invention may be performed by computer program instructions. These computer program instructions can be mounted on a processor of a general purpose computer, special purpose computer, or other programmable data processing equipment, so that the instructions executed through the processor of a computer or other programmable data processing equipment are described in each step of the flowchart. It creates a means to do them. These computer program instructions can also be stored in computer readable or computer readable memory that can be oriented to a computer or other programmable data processing equipment to implement a function in a particular way, so that computer readable or computer readable memory It is also possible for the instructions stored in to produce an article of manufacture containing instructions means for performing the functions described in each step of the flowchart. Since computer program instructions may be mounted on a computer or other programmable data processing equipment, a series of operational steps are performed on the computer or other programmable data processing equipment to create a process that is executed by the computer to generate a computer or other programmable data. It is also possible for instructions to perform processing equipment to provide steps for performing the functions described in each step of the flowchart.

또한, 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.Also, each step may represent a module, segment, or portion of code that includes one or more executable instructions for executing the specified logical function(s). It should also be noted that in some alternative embodiments it is also possible that the functions mentioned in the steps occur out of order. For example, the two steps shown in succession may in fact be performed substantially simultaneously, or it is also possible that the steps are sometimes performed in reverse order depending on the corresponding function.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the present invention, and those skilled in the art to which the present invention pertains may make various modifications and variations without departing from the essential characteristics of the present invention. Therefore, the embodiments disclosed in the present invention are not intended to limit the technical spirit of the present invention, but to explain, and the scope of the technical spirit of the present invention is not limited by these embodiments. The scope of protection of the present invention should be interpreted by the following claims, and all technical thoughts within the equivalent range should be interpreted as being included in the scope of the present invention.

본 발명의 실시예에 따르면, 영상을 분할하여 복수의 셀로 구획한 후에 감시 대상 객체의 셀별 진입 정보, 진출 정보, 진출 방향 정보 등을 포함하는 특징 정보를 생성할 수 있다. 따라서, 특징 정보가 저장된 관계형 데이터베이스를 활용하는 지능형 영상 관제 시스템에서 빠른 속도의 검색이 가능해지고, 데이터베이스에 많은 양의 데이터가 기록되어 있어도 별도의 컴퓨팅 자원을 점유하지 않고서도 원하는 검색 결과를 획득할 수 있는 효율성을 가진다.According to an embodiment of the present invention, after segmenting an image and dividing the image into a plurality of cells, feature information including entry information, entry information, and entry direction information for each cell of a monitored object may be generated. Therefore, it is possible to perform a fast search in an intelligent video control system using a relational database in which feature information is stored, and obtain desired search results without occupying separate computing resources even if a large amount of data is recorded in the database. Have a high efficiency.

이러한 본 발명은 침입 탐지, 객체의 검출 및 추적, 사람 계수 등의 기능을 제공하는 지능형 영상 관제 시스템 등과 같은 각종 산업분야에 이용할 수 있다.The present invention can be used in various industrial fields, such as an intelligent video control system that provides functions such as intrusion detection, object detection and tracking, and human counting.

100 : 영상 감시 장치 110 : 영상 입력부
120 : 객체 검출부 130 : 단위 셀 설정부
140 : 영상 셀 구획부 150 : 움직임 정보 추출부
160 : 셀별 정보 생성부 170 : 특징 정보 저장부100: video monitoring device 110: video input unit
120: object detection unit 130: unit cell setting unit
140: image cell compartment 150: motion information extraction unit
160: cell-specific information generation unit 170: feature information storage unit

Claims (5)

영상 감시 장치에 의한 영상 감시 방법으로서,
감시 대상 객체에 대응하여 단위 셀 크기를 설정하는 단계와,
상기 설정된 단위 셀 크기에 따라 영상을 분할하여 복수의 셀로 구획하는 단계와,
복수의 영상 프레임에서 상기 감시 대상 객체의 움직임 정보를 추출하여 상기 구획된 각 셀별로 진입 시간, 진출 시간 또는 진출 방향 중에서 적어도 하나 이상을 포함하는 특징 정보를 생성하는 단계와,
상기 복수의 셀에 대하여 상기 생성된 특징 정보를 각 셀별로 저장하는 단계와,
상기 복수의 셀 중에서, 상기 영상 프레임에 설정된 기준선에 중첩되는 셀들을 대상으로 상기 특징 정보를 검색하여 제공하는 단계를 포함하는 영상 감시 방법.A video surveillance method using a video surveillance device,
Setting a unit cell size in response to the object to be monitored;
Dividing an image according to the set unit cell size and dividing the image into a plurality of cells;
Extracting motion information of the object to be monitored from a plurality of image frames and generating feature information including at least one of an entry time, an advance time, or an advance direction for each of the divided cells;
Storing the generated feature information for each cell for the plurality of cells,
And searching for and providing the feature information to cells overlapping a reference line set in the image frame among the plurality of cells. 제 1 항에 있어서,
상기 단위 셀 크기는, 상기 감시 대상 객체의 크기보다 작은 것을 특징으로 하는 영상 감시 방법.According to claim 1,
The unit cell size is smaller than the size of the object to be monitored. ◈청구항 3은(는) 설정등록료 납부시 포기되었습니다.◈◈ Claim 3 was abandoned when payment of the set registration fee was made.◈ 제 1 항에 있어서,
상기 단위 셀의 크기는, 상기 영상 내의 원근에 따라 변화되는 것을 특징으로 하는 영상 감시 방법.According to claim 1,
The size of the unit cell, the video monitoring method characterized in that it changes according to the perspective in the image. ◈청구항 4은(는) 설정등록료 납부시 포기되었습니다.◈◈ Claim 4 was abandoned when payment of the set registration fee was made.◈ 제 1 항에 있어서,
상기 진출 방향에 대한 정보는, 각도 정보를 양자화된 값으로 생성하는 것을 특징으로 하는 영상 감시 방법.According to claim 1,
The information on the advance direction, the video surveillance method characterized in that the angle information is generated as a quantized value. 삭제delete
KR1020140126860A 2014-09-23 2014-09-23 Method and apparatus for monitoring video KR102131896B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140126860A KR102131896B1 (en) 2014-09-23 2014-09-23 Method and apparatus for monitoring video

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140126860A KR102131896B1 (en) 2014-09-23 2014-09-23 Method and apparatus for monitoring video

Publications (2)

Publication Number Publication Date
KR20160035367A KR20160035367A (en) 2016-03-31
KR102131896B1 true KR102131896B1 (en) 2020-07-09

Family

ID=55652091

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140126860A KR102131896B1 (en) 2014-09-23 2014-09-23 Method and apparatus for monitoring video

Country Status (1)

Country Link
KR (1) KR102131896B1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102566525B1 (en) * 2020-04-08 2023-08-21 한국전자통신연구원 Method and apparatus for analyzing traffic situation
KR102543836B1 (en) * 2022-09-15 2023-06-20 주식회사 위씨 Method for tracking object and device using the same
KR102600418B1 (en) * 2023-04-28 2023-11-09 주식회사 아로텍 Apparatus and method for deciding of area

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101436369B1 (en) * 2013-06-25 2014-09-11 중앙대학교 산학협력단 Apparatus and method for detecting multiple object using adaptive block partitioning

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101372860B1 (en) * 2012-04-30 2014-03-12 전자부품연구원 System for searching video and server for analysing video
KR101921610B1 (en) 2012-08-31 2018-11-23 에스케이 텔레콤주식회사 Method and Apparatus for Monitoring Objects from Video

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101436369B1 (en) * 2013-06-25 2014-09-11 중앙대학교 산학협력단 Apparatus and method for detecting multiple object using adaptive block partitioning

Also Published As

Publication number Publication date
KR20160035367A (en) 2016-03-31

Similar Documents

Publication Publication Date Title
US11669950B2 (en) Analysis apparatus, analysis method, and storage medium
CN102110122B (en) Method and device for establishing sample picture index table, method and device for filtering pictures and method and device for searching pictures
US9183459B1 (en) Sensor fusion using detector confidence boosting
US20170040036A1 (en) Summary image browsing system and method
US20170249386A1 (en) Object search by description
KR102131896B1 (en) Method and apparatus for monitoring video
US20160125232A1 (en) Dynamic face identification
US8160371B2 (en) System for finding archived objects in video data
US10635908B2 (en) Image processing system and image processing method
US10576974B2 (en) Multiple-parts based vehicle detection integrated with lane detection for improved computational efficiency and robustness
AU2015354783B2 (en) System for real-time moving target detection using vision based image segmentation
US10262209B2 (en) Method for analyzing video data
US9542624B2 (en) Recognizing method of flaky or blocky prohibited articles, explosives or drugs
Farooq et al. Real-Time Safety Helmet Detection Using Yolov5 at Construction Sites.
Amarasinghe et al. A machine learning approach for identifying mosquito breeding sites via drone images
CN105894541B (en) A kind of moving target search method and system based on the collision of more videos
De Geest et al. Dense interest features for video processing
CN103530612A (en) Rapid target detection method based on small quantity of samples
DE112022004575T5 (en) REDUCING THE COMPUTATIONAL LOAD OF IMAGE-BASED OBJECT RECOGNITION
Peca et al. Scalable Cluster Analysis of Spatial Events.
US11386340B2 (en) Method and apparatus for performing block retrieval on block to be processed of urine sediment image
KR101285128B1 (en) Intelligent search robot for processing of image
DE102019109287A1 (en) System and method for detecting potential fraud by the cashier
Schott et al. Challenges of Integrating A Priori Information Efficiently in the Discovery of Spatio-Temporal Objects in Large Databases
CN104143089B (en) The critical point detection method based on space-time Energy Decomposition in human action identification

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right