KR20200061566A - syntax-based method of extracting region of moving object out of compressed video with context consideration - Google Patents

syntax-based method of extracting region of moving object out of compressed video with context consideration Download PDF

Info

Publication number
KR20200061566A
KR20200061566A KR1020180147017A KR20180147017A KR20200061566A KR 20200061566 A KR20200061566 A KR 20200061566A KR 1020180147017 A KR1020180147017 A KR 1020180147017A KR 20180147017 A KR20180147017 A KR 20180147017A KR 20200061566 A KR20200061566 A KR 20200061566A
Authority
KR
South Korea
Prior art keywords
moving object
image
object area
motion vector
syntax
Prior art date
Application number
KR1020180147017A
Other languages
Korean (ko)
Other versions
KR102153093B1 (en
Inventor
이현우
정승훈
이성진
Original Assignee
이노뎁 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이노뎁 주식회사 filed Critical 이노뎁 주식회사
Priority to KR1020180147017A priority Critical patent/KR102153093B1/en
Publication of KR20200061566A publication Critical patent/KR20200061566A/en
Application granted granted Critical
Publication of KR102153093B1 publication Critical patent/KR102153093B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/21—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with binary alpha-plane coding for video objects, e.g. context-based arithmetic encoding [CAE]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

The present invention relates to a technology for effectively detecting a moving object from a compressed video based on H.264 AVC, H.265 HEVC, etc. in general. More specifically, the present invention relates to a technology for extracting any meaningful movement existing region, namely, a region of a moving object, within a video by using syntax information (e.g., motion vector, coding type) acquired by parsing compressed video data, not recognizing object presence through complex image processing like a prior technology with respect to, for example, a compressed video generated by a CCTV camera. Particularly, in the case that an object motionlessly stops or performs any behavior at the same position temporarily after the region of the moving object is extracted, the present invention maintains the region of the moving object without erasing the region by considering context of the video even if there has been no motion vector in the meantime, thereby removing error possibility in an approach method for detecting the region of the moving object by syntax without analyzing content of the video and accordingly, enhancing reliability and usability in extracting the region of the moving object.

Description

컨텍스트를 고려한 압축영상에 대한 신택스 기반의 이동객체 영역 추출 방법 {syntax-based method of extracting region of moving object out of compressed video with context consideration}Syntax-based method of extracting region of moving object out of compressed video with context consideration}

본 발명은 일반적으로 H.264 AVC 및 H.265 HEVC 등의 압축영상으로부터 이동객체를 효과적으로 검출하는 기술에 관한 것이다.The present invention generally relates to a technique for effectively detecting moving objects from compressed images such as H.264 AVC and H.265 HEVC.

더욱 상세하게는, 본 발명은 예컨대 CCTV 카메라가 생성하는 압축영상에 대해 종래기술처럼 복잡한 이미지 프로세싱을 통해 객체 존재를 인식하는 것이 아니라 압축영상 데이터를 파싱하여 얻어지는 신택스 정보(예: 모션벡터, 코딩유형)를 활용하여 영상 내의 무언가 유의미한 움직임이 존재하는 영역, 즉 이동객체 영역을 추출하는 기술에 관한 것이다. More specifically, the present invention does not recognize the existence of an object through complex image processing as in the prior art, for example, for a compressed image generated by a CCTV camera, but syntax information (eg, motion vector, coding type) obtained by parsing compressed image data. It is related to a technique of extracting a region in which there is significant motion in an image, that is, a moving object region by utilizing ).

특히, 본 발명은 이동객체 영역이 추출된 이후에 일시적으로 해당 객체가 가만히 정지하거나 혹은 동일 위치에서 어떠한 행위를 하는 경우에 그 동안은 모션벡터가 없음에도 불구하고 영상 문맥(컨텍스트)를 고려하여 이동객체 영역을 말소시키지 않고 유지해줌으로써 영상 내용을 분석하지 않고 신택스에 의해 이동객체 영역을 검출하는 접근법의 오류 가능성을 제거하고 이를 통해 이동객체 영역 추출의 신뢰성과 유용성을 개선하는 기술에 관한 것이다.Particularly, the present invention moves in consideration of an image context (context) even though there is no motion vector in the case where the object temporarily stops or performs an action at the same location after the moving object region is extracted. It relates to a technique for improving the reliability and usefulness of extracting a moving object region through removing the possibility of errors in an approach of detecting a moving object region by syntax without analyzing image contents by maintaining the object region without erasing it.

최근에는 범죄예방이나 사후증거 확보 등을 위해 CCTV를 이용하는 영상관제 시스템을 구축하는 것이 일반적이다. 지역별로 다수의 CCTV 카메라를 설치해둔 상태에서 이들 CCTV 카메라가 생성하는 영상을 모니터에 표시하고 스토리지 장치에 저장해두는 것이다. 범죄나 사고가 발생하는 장면을 관제 요원이 발견하게 되면 그 즉시 적절하게 대처하는 한편, 필요에 따라서는 사후증거 확보를 위해 스토리지에 저장되어 있는 영상을 검색하는 것이다.Recently, it is common to establish a video control system using CCTV to prevent crime or secure post-evidence. In the state where multiple CCTV cameras are installed in each region, the video generated by these CCTV cameras is displayed on a monitor and stored in a storage device. When a control agent finds a scene in which a crime or accident occurs, he immediately responds appropriately and, if necessary, searches for images stored in storage to secure post-evidence.

그런데. CCTV 카메라의 설치 현황에 비해 관제 요원의 수는 매우 부족한 것이 현실이다. 이처럼 제한된 인원으로 영상 감시를 효과적으로 수행하려면 CCTV 영상을 모니터 화면에 단순 표시하는 것만으로는 충분하지 않다. 각각의 CCTV 영상에 존재하는 객체의 움직임을 감지하여 실시간으로 해당 영역에 무언가 추가 표시함으로써 효과적으로 발견되도록 처리하는 것이 바람직하다. 이러한 경우에 관제 요원은 CCTV 영상 전체를 균일한 관심도를 가지고 지켜보는 것이 아니라 객체 움직임이 있는 부분을 중심으로 CCTV 영상을 감시하면 된다.By the way. The reality is that the number of control personnel is very short compared to the installation status of CCTV cameras. It is not enough to simply display the CCTV video on the monitor screen to effectively perform video surveillance with limited personnel. It is desirable to detect the movement of an object present in each CCTV image and process it so that it is effectively found by displaying something additionally in the corresponding area in real time. In this case, the control personnel do not watch the entire CCTV image with uniform interest, but monitor the CCTV image centering on the part where the object is moving.

최근에 설치되는 CCTV 카메라는 고해상도(예: Full HD) 및 고프레임(예: 초당 24프레임)의 제품이 채택되고 있기 때문에 네트워크 대역폭과 스토리지 공간의 부담을 고려하여 H.264 AVC 및 H.265 HEVC 등과 같은 고압축율의 복잡한 영상압축 기술이 채택되고 있다. CCTV 카메라 장치는 촬영 영상을 영상압축 기술에 따라 인코딩하여 생성한 압축영상을 제공하고, CCTV 영상을 활용하는 측에서는 해당 기술규격에 따라 역으로 압축영상에 대한 디코딩을 수행한다.Since CCTV cameras that are installed recently adopt high-resolution (e.g. Full HD) and high-frame (e.g. 24 frames per second) products, H.264 AVC and H.265 HEVC are considered in consideration of network bandwidth and storage space burden. A complex image compression technology with a high compression ratio such as the above has been adopted. The CCTV camera device provides a compressed image generated by encoding the captured image according to the image compression technology, and the side using the CCTV image decodes the compressed image in reverse according to the corresponding technical standard.

이하에서는 [도 1]와 [도 2]를 참조하여 종래기술에서 CCTV 압축영상으로부터 이동객체를 추출하는 과정을 설명한다.Hereinafter, a process of extracting a moving object from a CCTV compressed image in the prior art will be described with reference to FIGS. 1 and 2.

[도 1]은 H.264 AVC 기술규격에 따른 동영상 디코딩 장치의 일반적인 구성을 나타내는 블록도이다. [도 1]을 참조하면, H.264 AVC에 따른 동영상 디코딩 장치는 구문분석기(11), 엔트로피 디코더(12), 역 변환기(13), 모션벡터 연산기(14), 예측기(15), 디블로킹 필터(16)를 포함하여 구성된다. 이들 하드웨어 모듈이 압축영상의 데이터를 순차적으로 처리함으로써 압축영상에서 압축을 풀고 원래의 영상 데이터를 복원해낸다. 이때, 구문분석기(11)는 압축영상의 코딩 유닛에 대해 모션벡터 및 코딩유형을 파싱해낸다. 이러한 코딩 유닛(coding unit)은 일반적으로는 매크로블록이나 서브 블록과 같은 영상 블록이다.1 is a block diagram showing a general configuration of a video decoding apparatus according to the H.264 AVC technology standard. Referring to FIG. 1, the video decoding apparatus according to H.264 AVC includes a parser 11, an entropy decoder 12, an inverse transformer 13, a motion vector operator 14, a predictor 15, and deblocking It comprises a filter 16. These hardware modules sequentially process the compressed image data to decompress the compressed image and restore the original image data. At this time, the parser 11 parses the motion vector and coding type for the coding unit of the compressed image. Such a coding unit is a video block such as a macroblock or subblock.

[도 2]는 기존의 영상분석 솔루션에서 CCTV 압축영상으로부터 이동객체를 추출하는 과정을 나타내는 순서도이다. [도 2]를 참조하면, 압축영상을 H.264 AVC 및 H.265 HEVC 등에 따라 디코딩하고(S10), 재생영상의 프레임 이미지들을 작은 이미지, 예컨대 320x240 정도로 다운스케일 리사이징한다(S20). 이때, 다운스케일 리사이징의 이유는 이후 영상분석 과정에서의 프로세싱 부담을 낮추기 위한 것이다. 그리고 나서, 리사이징된 프레임 이미지들에 대해 차영상(differentials)을 구한 후에 영상 분석을 통해 이동객체를 추출해낸다(S30).2 is a flowchart showing a process of extracting a moving object from a CCTV compressed image in an existing image analysis solution. Referring to FIG. 2, the compressed image is decoded according to H.264 AVC and H.265 HEVC (S10), and the frame images of the reproduced image are downscaled to a small image, for example, about 320x240 (S20). At this time, the reason for downscale resizing is to lower the processing burden in the subsequent image analysis process. Then, after obtaining differential images for the resized frame images, a moving object is extracted through image analysis (S30).

이처럼 종래기술에서 이동객체를 추출하려면 압축영상 디코딩, 다운스케일 리사이징, 영상 분석을 수행한다. 이들은 복잡도가 매우 높은 프로세스이고, 그로 인해 종래의 영상관제 시스템에서는 한 대의 영상분석 서버가 동시 처리할 수 있는 용량이 상당히 제한되어 있다. 현재 고성능의 영상분석 서버가 커버할 수 있는 최대 CCTV 채널은 통상 최대 16 채널이다. 다수의 CCTV 카메라가 설치되므로 영상관제 시스템에는 다수의 영상분석 서버가 필요하였고, 이는 비용 증가와 물리적 공간 확보의 어려움이라는 문제점을 유발하였다.As described above, to extract a moving object in the prior art, compressed image decoding, downscale resizing, and image analysis are performed. These are very complex processes, and accordingly, in a conventional image control system, a capacity that can be simultaneously processed by one image analysis server is significantly limited. Currently, the maximum CCTV channel that a high-performance video analysis server can cover is usually a maximum of 16 channels. Since a number of CCTV cameras are installed, a number of video analysis servers are required for the video control system, which causes problems such as increased cost and difficulty in securing physical space.

본 발명의 목적은 일반적으로 H.264 AVC 및 H.265 HEVC 등의 압축영상으로부터 이동객체를 효과적으로 검출하는 기술을 제공하는 것이다.An object of the present invention is to provide a technique for effectively detecting moving objects from compressed images such as H.264 AVC and H.265 HEVC.

특히, 본 발명의 목적은 예컨대 CCTV 카메라가 생성하는 압축영상에 대해 종래기술처럼 복잡한 이미지 프로세싱을 통해 객체 존재를 인식하는 것이 아니라 압축영상 데이터를 파싱하여 얻어지는 신택스 정보(예: 모션벡터, 코딩유형)를 활용하여 영상 내의 무언가 유의미한 움직임이 존재하는 영역, 즉 이동객체 영역을 추출하는 기술을 제공하는 것이다. In particular, the object of the present invention is to obtain the syntax information obtained by parsing compressed image data rather than recognizing the existence of an object through a complex image processing as in the prior art, for example, for a compressed image generated by a CCTV camera (eg motion vector, coding type) It is to provide a technique for extracting a region in which there is significant motion in an image, that is, a moving object region by utilizing.

특히, 본 발명의 목적은 이동객체 영역이 추출된 이후에 일시적으로 해당 객체가 가만히 정지하거나 혹은 동일 위치에서 어떠한 행위를 하는 경우에 그 동안은 모션벡터가 없음에도 불구하고 영상 문맥(컨텍스트)를 고려하여 이동객체 영역을 말소시키지 않고 유지해줌으로써 영상 내용을 분석하지 않고 신택스에 의해 이동객체 영역을 검출하는 접근법의 오류 가능성을 제거하고 이를 통해 이동객체 영역 추출의 신뢰성과 유용성을 개선하는 기술을 제공하는 것이다.In particular, the object of the present invention is to consider the video context (context) despite the absence of a motion vector in the meantime when the object temporarily stops or performs an action at the same location after the moving object region is extracted. Therefore, by maintaining the moving object area without erasing it, it eliminates the possibility of errors in the approach of detecting the moving object area by syntax without analyzing the image content, and thereby provides a technique for improving the reliability and usefulness of extracting the moving object area. .

상기의 목적을 달성하기 위하여 본 발명에 따른 컨텍스트를 고려한 압축영상에 대한 신택스 기반의 이동객체 영역 추출 방법은, 압축영상의 비트스트림을 파싱하여 코딩 유닛에 대한 모션벡터 및 코딩유형을 획득하는 제 1 단계; 압축영상을 구성하는 복수의 영상 블록 별로 미리 설정된 시간동안의 모션벡터 누적값을 획득하는 제 2 단계; 복수의 영상 블록에 대하여 모션벡터 누적값을 미리 설정된 제 1 임계치와 비교하는 제 3 단계; 제 1 임계치를 초과하는 모션벡터 누적값을 갖는 영상 블록을 이동객체 영역으로 마킹하는 제 4 단계; 이동객체 영역으로 마킹된 복수의 영상 블록들이 상호 연결된 덩어리를 압축영상의 이동객체 영역으로 설정하는 제 5 단계; 압축영상을 구성하는 프레임 시퀀스에서 기설정된 이동객체 영역이 사라지는 이벤트를 감지하는 제 6 단계; 그 사라진 이동객체 영역에서 로컬영역 예측에 따른 계수 값을 획득하는 제 7 단계; 계수 값이 미리 설정된 제 3 임계치보다 큰 경우에 그 사라진 이동객체 영역에 대해 이동객체 영역으로 유지 설정하는 제 8 단계;를 포함하여 구성될 수 있다.In order to achieve the above object, a syntax-based moving object region extraction method for a compressed image in consideration of the context according to the present invention comprises: a first step of parsing a bitstream of a compressed image and obtaining a motion vector and a coding type for a coding unit; step; A second step of obtaining a motion vector accumulation value for a preset time for each of a plurality of image blocks constituting a compressed image; A third step of comparing a motion vector accumulation value with a preset first threshold value for a plurality of image blocks; A fourth step of marking an image block having a motion vector accumulation value exceeding a first threshold as a moving object area; A fifth step of setting a block in which a plurality of image blocks marked as a moving object region are interconnected as a moving object region of the compressed image; A sixth step of detecting an event in which a preset moving object area disappears from a frame sequence constituting the compressed image; A seventh step of obtaining a coefficient value according to the prediction of the local area in the disappeared moving object area; And an eighth step of maintaining and setting the disappeared moving object area as the moving object area when the count value is greater than the preset third threshold.

이때, 로컬영역 예측은 DC/AD 예측(DC/AD prediction) 및 인트라 예측(Intra prediction) 중 하나 이상을 포함한다.At this time, the local area prediction includes one or more of DC/AD prediction and intra prediction.

또한, 본 발명에 따른 이동객체 영역 추출 방법은, 제 6 단계와 제 7 단계 사이에, 그 사라진 이동객체 영역이 압축영상에서 마지막으로 설정된 시점으로부터 미리 설정된 시간 간격 이내면 그 사라진 이동객체 영역에 대해 이동객체 영역으로 유지 설정하는 단계;를 더 포함할 수 있다.In addition, in the method of extracting a moving object area according to the present invention, between the sixth step and the seventh step, if the disappeared moving object area is within a preset time interval from the last set time point in the compressed image, for the disappeared moving object area It may further include the step of maintaining and setting the moving object area.

또한, 본 발명에 따른 이동객체 영역 추출 방법은, 이동객체 영역을 중심으로 그 인접하는 복수의 영상 블록(이하, '이웃 블록'이라 함)을 식별하는 제 a 단계; 복수의 이웃 블록에 대하여 제 1 단계에서 획득된 모션벡터 값을 미리 설정된 제 2 임계치와 비교하는 제 b 단계; 복수의 이웃 블록 중에서 제 b 단계의 비교 결과 제 2 임계치를 초과하는 모션벡터 값을 갖는 이웃 블록을 이동객체 영역으로 추가 마킹하는 제 c 단계; 복수의 이웃 블록 중에서 코딩유형이 인트라 픽쳐인 이웃 블록을 이동객체 영역으로 추가 마킹하는 제 d 단계; 복수의 이동객체 영역에 대하여 인터폴레이션을 수행하여 이동객체 영역으로 둘러싸인 미리 설정된 갯수 이하의 비마킹 영상 블록을 이동객체 영역으로 추가 마킹하는 제 e 단계;를 더 포함할 수 있다.In addition, the method for extracting a moving object region according to the present invention includes the steps of: a) identifying a plurality of adjacent image blocks (hereinafter referred to as'neighbor blocks') around a moving object region; A step b of comparing a motion vector value obtained in the first step with a second preset threshold value for a plurality of neighboring blocks; A step c of additionally marking a neighboring block having a motion vector value exceeding a second threshold as a moving object area as a result of the comparison of step b among the plurality of neighboring blocks; A d step of additionally marking a neighboring block having an intra-picture coding type as a moving object area among a plurality of neighboring blocks; The method may further include a step e of additionally marking a predetermined number of non-marked image blocks surrounded by the mobile object region as the mobile object region by performing interpolation on the plurality of mobile object regions.

또한, 본 발명에 따른 이동객체 영역 추출 방법은, 이동객체 영역을 중심으로 그 인접하는 복수의 영상 블록(이하, '이웃 블록'이라 함)을 식별하는 제 a 단계; 복수의 이웃 블록에 대하여 모션벡터 누적값을 제 1 임계치보다 작은 값으로 미리 설정된 제 2 임계치와 비교하는 제 b 단계; 복수의 이웃 블록 중에서 제 b 단계의 비교 결과 제 2 임계치를 초과하는 모션벡터 누적값을 갖는 이웃 블록을 이동객체 영역으로 추가 마킹하는 제 c 단계; 복수의 이웃 블록 중에서 코딩유형이 인트라 픽쳐인 이웃 블록을 이동객체 영역으로 추가 마킹하는 제 d 단계; 복수의 이동객체 영역에 대하여 인터폴레이션을 수행하여 이동객체 영역으로 둘러싸인 미리 설정된 갯수 이하의 비마킹 영상 블록을 이동객체 영역으로 추가 마킹하는 제 e 단계;를 더 포함할 수 있다.In addition, the method for extracting a moving object region according to the present invention includes the steps of: a) identifying a plurality of adjacent image blocks (hereinafter referred to as'neighbor blocks') around a moving object region; A step b of comparing a motion vector accumulation value with respect to a plurality of neighboring blocks to a second threshold that is preset to a value less than the first threshold; A step c of additionally marking a neighboring block having a motion vector accumulation value exceeding a second threshold as a moving object area as a result of the comparison of step b among the plurality of neighboring blocks; A d step of additionally marking a neighboring block having an intra-picture coding type as a moving object area among a plurality of neighboring blocks; The method may further include a step e of additionally marking a predetermined number of non-marked image blocks surrounded by the mobile object region as a mobile object region by performing interpolation on the plurality of mobile object regions.

한편, 본 발명에 따른 컴퓨터프로그램은 하드웨어와 결합되어 이상과 같은 컨텍스트를 고려한 압축영상에 대한 신택스 기반의 이동객체 영역 추출 방법을 실행시키기 위하여 매체에 저장된 것이다.On the other hand, the computer program according to the present invention is stored in a medium in order to execute a syntax-based moving object region extraction method for a compressed image in consideration of the above context in combination with hardware.

본 발명에 따르면 디코딩, 다운스케일 리사이징, 차영상 획득, 영상 분석 등과 같은 복잡한 프로세싱을 거치지 않고서도 압축영상으로부터 효과적으로 이동객체 영역을 검출할 수 있는 장점이 있다. 이를 통해 종래기술 대비 1/10 정도의 연산량으로 객체 검출을 수행할 수 있게 되어 영상분석 서버의 수용 채널수를 대략 10배 이상 증가시킬 수 있는 장점이 있다.According to the present invention, it is possible to effectively detect a moving object region from a compressed image without undergoing complicated processing such as decoding, downscale resizing, difference image acquisition, image analysis, and the like. Through this, it is possible to perform object detection with a computation amount of about 1/10 compared to the prior art, so that the number of channels of the image analysis server can be increased by approximately 10 times or more.

특히, 본 발명에 따르면 CCTV 압축영상에서 이동객체 영역이 추출된 이후에 일시적으로 해당 객체가 가만히 정지하거나 혹은 동일 위치에서 어떠한 행위를 하는 경우에도 CCTV 압축영상의 문맥(컨텍스트)를 고려하여 해당 이동객체 영역을 말소시키지 않고 유지해줌으로써 신택스 기반의 이동객체 영역 추출 방식에 대한 신뢰성과 유용성을 개선할 수 있는 장점이 있다.Particularly, according to the present invention, the moving object is considered in consideration of the context (context) of the CCTV compressed image even if the corresponding object temporarily stops or performs any action at the same location after the moving object area is extracted from the CCTV compressed image. It has the advantage of improving the reliability and usefulness of the syntax-based moving object region extraction method by maintaining the region without erasing it.

[도 1]은 동영상 디코딩 장치의 일반적인 구성을 나타내는 블록도.
[도 2]는 종래기술에서 CCTV 압축영상으로부터 이동객체를 추출하는 과정을 나타내는 순서도.
[도 3]은 본 발명에 따라 압축영상으로부터 이동객체를 추출하는 전체 프로세스를 나타내는 순서도.
[도 4]는 본 발명에서 압축영상으로부터 유효 움직임 영역을 검출하는 과정의 구현 예를 나타내는 순서도.
[도 5]는 CCTV 압축영상에 대해 유효 움직임 영역 검출 과정을 적용한 결과의 일 예를 나타내는 도면.
[도 6]은 본 발명에서 이동객체 영역에 대한 바운더리 영역을 검출하는 과정의 구현 예를 나타내는 순서도.
[도 7]은 [도 5]의 CCTV 영상 이미지에 대해 바운더리 영역 검출 과정을 적용한 결과의 일 예를 나타내는 도면.
[도 8]은 [도 7]의 CCTV 영상 이미지에 대해 인터폴레이션을 통해 이동객체 영역을 정리한 결과의 일 예를 나타내는 도면.
[도 9]는 본 발명에서 이동객체 영역에 Unique ID가 할당된 일 예를 나타내는 도면.
[도 10]은 CCTV 압축영상으로부터 이동객체를 추출할 때 컨텍스트를 고려해야 하는 상황을 개념적으로 나타내는 도면.1 is a block diagram showing a general configuration of a video decoding apparatus.
2 is a flow chart showing a process of extracting a moving object from a CCTV compressed image in the prior art.
3 is a flow chart showing the entire process of extracting a moving object from a compressed image according to the present invention.
Figure 4 is a flow chart showing an example of the implementation of the process of detecting the effective motion area from the compressed image in the present invention.
5 is a diagram showing an example of a result of applying an effective motion area detection process to a CCTV compressed image.
6 is a flowchart illustrating an example of implementation of a process for detecting a boundary area for a moving object area in the present invention.
[Figure 7] is a diagram showing an example of the result of applying the boundary area detection process to the CCTV video image of [Figure 5].
8 is a diagram showing an example of a result of arranging a moving object area through interpolation for the CCTV video image of [FIG. 7 ].
9 is a diagram illustrating an example in which a unique ID is assigned to a moving object area in the present invention.
10 is a diagram conceptually showing a situation in which context should be considered when extracting a moving object from a CCTV compressed image.

이하에서는 도면을 참조하여 본 발명을 상세하게 설명한다.Hereinafter, the present invention will be described in detail with reference to the drawings.

[도 3]은 본 발명에 따라 압축영상으로부터 이동객체를 추출하는 전체 프로세스를 나타내는 순서도이다. 3 is a flowchart showing the entire process of extracting a moving object from a compressed image according to the present invention.

본 발명에서는 압축영상을 디코딩하고 영상을 분석할 필요없이 압축영상의 비트스트림을 파싱하여 각 영상 블록에 대한 신택스 정보(syntax information)를 통해 이동객체 영역을 빠르게 추출하는 점이 특징이다. 영상 블록으로는 매크로블록(Macro Block) 및 서브블록(Sub Block) 등의 어느 하나 혹은 이들의 조합을 채택할 수 있고, 신택스 정보로는 모션벡터(Motion Vector)와 코딩유형(Coding Type)이 바람직하다. 이렇게 얻어진 이동객체 영역은 본 명세서에 첨부된 여러 이미지에서 확인되는 바와 같이 영상 내에 존재하는 이동객체의 경계선을 정확하게 반영하지는 못하지만 처리속도가 빠르면서도 신뢰도가 높은 장점이 있다. In the present invention, it is characterized in that the bitstream of the compressed image is parsed without the need to decode the compressed image and analyze the image to quickly extract the moving object region through syntax information for each image block. As a video block, any one or a combination of macro blocks and sub blocks can be adopted, and motion vector and coding type are preferable as syntax information. Do. The moving object region thus obtained does not accurately reflect the boundary of the moving object present in the image, as confirmed in the various images attached to the present specification, but has a high processing speed and high reliability.

그런데, 이러한 접근법은 실제 영상 내용에 대해 전혀 모르는 상태에서 이루어지는 것이어서 오류의 가능성이 있다. 예를 들어, 어떠한 사람이 움직이지 않고 가만히 정지해 있거나 혹은 심지어 다른 사람을 구타하는 등의 행위를 하지만 동일 위치를 유지하는 경우를 가정한다. 이러한 경우에 CCTV 압축영상에는 그 사람이 찍혀 있기는 하지만 모션벡터가 나오지 않기 때문에 그 사람은 이동객체 영역으로 추출되지 않는다. 이와 같은 오류가 발생하지 않도록 본 발명에서는 압축영상의 컨텍스트를 고려한다. 즉, 압축영상으로부터 이동객체 영역이 일단 추출되면 그 지점에 이동객체가 계속 존재할 가능성이 있으므로 그 이후의 영상 프레임에서는 해당 이동객체 영역에 대하여 좀더 완화되거나 보충적인 기준을 적용하여 이동객체 영역 유지 여부를 판단하는 것이다.However, there is a possibility of error because this approach is performed without knowing the actual contents of the video. For example, suppose that a person remains stationary without moving or even beats another person, but maintains the same position. In this case, the person is recorded in the CCTV compressed image, but since the motion vector does not appear, the person is not extracted into the moving object area. To avoid such an error, the present invention considers the context of the compressed image. In other words, once the moving object area is extracted from the compressed image, there is a possibility that the moving object will continue to exist at that point. In subsequent image frames, whether to maintain the moving object area by applying a more relaxed or supplementary criterion to the moving object area To judge.

한편, 본 발명에 따른 이동객체 추출 프로세스는 다수의 압축영상을 다루는 시스템, 예컨대 CCTV 영상관제 시스템 또는 CCTV 영상분석 시스템에서 영상분석 서버가 수행할 수 있다. 또한, 본 발명에 따르면 압축영상을 디코딩하지 않고도 이동객체 영역을 추출할 수 있다. 그러나, 본 발명이 적용된 장치 또는 소프트웨어라면 압축영상을 디코딩하는 동작을 수행하지 않아야 하는 것으로 본 발명의 범위가 한정되는 것은 아니다.Meanwhile, the moving object extraction process according to the present invention may be performed by an image analysis server in a system that handles a plurality of compressed images, such as a CCTV image control system or a CCTV image analysis system. Further, according to the present invention, a moving object region can be extracted without decoding the compressed image. However, if the device or software to which the present invention is applied, the scope of the present invention is not limited to not performing an operation for decoding a compressed image.

이하, [도 3]을 참조하여 본 발명에 따라 압축영상으로부터 이동객체를 추출하는 과정을 살펴본다.Hereinafter, a process of extracting a moving object from a compressed image according to the present invention will be described with reference to FIG. 3.

단계 (S100) : 먼저, 압축영상의 모션벡터에 기초하여 압축영상으로부터 실질적으로 의미를 인정할만한 유효 움직임을 검출하며, 이처럼 유효 움직임이 검출된 영상 영역을 이동객체 영역으로 설정한다.Step (S100): First, based on the motion vector of the compressed image, effective motion that is substantially recognizable from the compressed image is detected, and the image area in which the effective motion is detected is set as a moving object area.

이를 위해, H.264 AVC 및 H.265 HEVC 등의 동영상압축 표준에 따라서 압축영상의 코딩 유닛(coding unit)의 모션벡터와 코딩유형을 파싱한다. 이때, 코딩 유닛의 사이즈는 일반적으로 64x64 픽셀 내지 4x4 픽셀 정도이며 설계자의 선택에 따라 다양하게 설정될 수 있다.To this end, motion vectors and coding types of a coding unit of a compressed image are parsed according to video compression standards such as H.264 AVC and H.265 HEVC. At this time, the size of the coding unit is generally about 64x64 pixels to 4x4 pixels, and may be variously set according to the designer's selection.

각 영상 블록에 대해 미리 설정된 일정 시간(예: 500 msec) 동안 모션벡터를 누적시키고, 그에 따른 모션벡터 누적값이 미리 설정된 제 1 임계치(예: 20)을 초과하는지 검사한다. 만일 그러한 영상 블록이 발견되면 해당 영상 블록에서 유효 움직임이 발견된 것으로 보고 이동객체 영역으로 마킹한다. 그에 따라, 모션벡터가 발생하였더라도 일정 시간동안의 누적값이 제 1 임계치를 넘지 못하는 경우에는 영상 변화가 미미한 것으로 추정하고 무시한다.For each video block, the motion vectors are accumulated for a predetermined time (eg, 500 msec), and it is checked whether the resulting motion vector accumulation value exceeds a preset first threshold (eg, 20). If such an image block is found, it is considered that an effective motion is found in the corresponding image block and is marked as a moving object area. Accordingly, even if a motion vector occurs, if the cumulative value for a certain time does not exceed the first threshold, the video change is assumed to be negligible and ignored.

단계 (S200) : 앞의 (S100)에서 검출된 이동객체 영역에 대하여 그 주변 영역을 모션벡터와 코딩유형에 기초하여 검사함으로써 이들 이동객체 영역의 바운더리가 대략적으로 어디까지인지 확장해나간다. 이러한 과정을 통해서 앞서 (S100)에서 파편화된 영상 블록의 형태로 검출된 이동객체 영역을 서로 연결하여 유의미한 덩어리 형태를 만들어가는 결과를 얻는다.Step (S200): The area around the moving object detected in the previous step (S100) is inspected based on the motion vector and the coding type to expand the boundary of these moving object areas to approximately the extent. Through this process, the moving object regions detected in the form of fragmented image blocks in (S100) are connected to each other to obtain a meaningful lump shape.

앞의 (S100)에서는 엄격한 판단기준에 따라 영상 블록들을 선별함으로써 압축영상 내에서 이동객체에 대응하는 것이 확실해 보이는 영상 블록을 검출하여 이동객체 영역으로 마킹하였다. 이번의 (S200)에서는 이렇게 (S100)에서 이동객체 영역으로 마킹되었던 영상 블록 주변에 위치하는 다른 영상 블록들을 검사한다. 이들을 본 명세서에서는 편이상 '이웃 블록'이라고 부른다. 이들 이웃 블록에 대해서는 앞서 (S100)에 적용하였던 판단기준에 비해 상대적으로 완화된 판단기준에 따라 이동객체 영역에 해당하는지 여부를 판단한다.In the previous step (S100), by selecting image blocks according to strict criteria, an image block that seems to correspond to a moving object in a compressed image is detected and marked as a moving object area. In this time (S200), other image blocks located around the image block marked as the moving object area in (S100) are examined. These are referred to as one or more'neighbor blocks' in this specification. For these neighboring blocks, it is determined whether or not they correspond to the moving object area according to the criterion that is relatively relaxed compared to the criterion applied in (S100).

압축영상에서 매크로블록이나 서브블록 등은 매우 작은 사이즈이다. 따라서 CCTV 촬영영상과 같이 사람, 자동차, 자전거, 동물 등을 촬영한 영상이라면 그 속성상 이동객체가 하나의 영상 블록에만 나타나기는 곤란하고 여러 영상 블록에 걸쳐서 나타날 것으로 예상한다. 즉, 이동객체가 찍힌 영상 블록 근방에 존재하는 영상 블록에는 이동객체가 찍혀있을 가능성이 그렇지 않은 영상 블록에 비해 상대적으로 높다고 가정한다. 그러한 기술적 가정을 반영하여 (S200)에서는 이동객체 영역 주변에 존재하는 이웃 블록에 대해 상대적으로 완화된 판단기준에 따라 이동객체 영역에 해당하는지 여부를 판단한다.In compressed images, macroblocks and subblocks are very small. Therefore, if it is a video of a person, car, bicycle, animal, etc., such as a CCTV video, it is difficult for the moving object to appear only in one video block due to its nature, and it is expected to appear across multiple video blocks. That is, it is assumed that the probability that the moving object is imprinted on the image block existing near the image block where the moving object is photographed is relatively high compared to the image block that is not. Reflecting such technical assumptions, (S200), it is determined whether or not it corresponds to the moving object area according to a relatively relaxed judgment criterion for neighboring blocks existing around the moving object area.

바람직하게는 각각의 이웃 블록을 검사하여, 현재 프레임에서 검출된 모션벡터 값이 미리 설정된 제 2 임계치(예: 0) 이상이거나 코딩유형이 인트라 픽쳐(Intra Picture)일 경우에는 해당 영상 블록도 이동객체 영역으로 마킹한다. 다른 실시예로는, 이웃 블록에 대해 앞서 (S100)에서 산출하였던 모션벡터 누적값이 제 2 임계치(예: 5) 이상이거나 코딩유형이 인트라 픽쳐일 경우에는 해당 영상 블록도 이동객체 영역으로 마킹할 수 있다. 이때, 제 2 임계치는 제 1 임계치에 비해 작은 값으로 설정되는 것이 논리적으로 타당하다.Preferably, each neighboring block is inspected, and if the motion vector value detected in the current frame is greater than or equal to a preset second threshold (eg, 0) or the coding type is an intra picture, the corresponding image block is also a moving object Mark as an area. In another embodiment, when the motion vector accumulation value previously calculated in (S100) with respect to the neighboring block is greater than or equal to the second threshold (eg, 5) or the coding type is intra picture, the corresponding video block is also marked as a moving object area. Can be. At this time, it is logically reasonable that the second threshold is set to a smaller value than the first threshold.

개념적으로는, 유효 움직임이 발견되어 이동객체 영역의 근방에서 어느 정도의 움직임이 있는 영상 블록이라면 이는 앞의 이동객체 영역과 한 덩어리일 가능성이 높기 때문에 이동객체 영역이라고 마킹하는 것이다. 또한, 인트라 픽쳐의 경우에는 모션벡터가 존재하지 않기 때문에 모션벡터에 기초하여 이동객체 영역인지 여부를 판단하는 것이 불가능하다. 이에, 이동객체 영역으로 이미 검출된 영상 블록에 인접하여 위치하는 인트라 픽쳐라면 기 추출된 이동객체 영역과 함께 한 덩어리를 이루는 것으로 추정한다. 이동객체 영역이 아닌 영상 블록 하나가 이동객체 영역에 포함되었을 때의 손실은 별로 크지 않은 반면, 이동객체 영역이 파편화되었을 때의 손실은 크기 때문이다.Conceptually, if an image block in which an effective motion is found and there is a certain amount of motion in the vicinity of the moving object area is marked as a moving object area because it is likely to be a single chunk with the preceding moving object area. In addition, in the case of an intra picture, since there is no motion vector, it is impossible to determine whether it is a moving object area based on the motion vector. Accordingly, if the intra picture is located adjacent to an image block that has already been detected as a moving object area, it is estimated that a single chunk is formed together with the extracted moving object area. This is because the loss when the moving object region is fragmented is not large, whereas the loss when the image block other than the moving object region is included in the moving object region is large.

단계 (S300) : 앞의 (S100)과 (S200)에서 검출된 이동객체 영역에 인터폴레이션(interpolation)을 적용하여 이동객체 영역의 분할(fragmentation)을 정리한다. 앞의 과정에서는 영상 블록 단위로 이동객체 영역 여부를 판단하였기 때문에 실제로는 하나의 이동객체(예: 사람, 자동차, 동물)임에도 불구하고 중간중간에 이동객체 영역으로 마킹되지 않은 영상 블록(즉, 비마킹 영상 블록)이 존재하여 여러 개의 이동객체 영역으로 분할되는 현상이 발생할 수 있다. 그에 따라, 이동객체 영역으로 마킹된 복수의 영상 블록으로 둘러싸인 하나 혹은 소수의 비마킹 영상 블록이 존재한다면 이들은 이동객체 영역으로 추가로 마킹한다. 이를 통해, 여러 개로 분할되어 있는 이동객체 영역을 하나로 뭉쳐지도록 만들 수 있는데, 이와 같은 인터폴레이션의 영향은 [도 7]과 [도 8]을 비교하면 명확하게 드러난다.Step (S300): Fragmentation of the moving object area is arranged by applying interpolation to the moving object area detected in the above (S100) and (S200). In the previous process, since it is determined whether the moving object area is in units of image blocks, in reality, although it is one moving object (eg, person, car, animal), the image block that is not marked as the moving object area in the middle (i.e., non Marking image block) may be present and divided into several moving object areas. Accordingly, if there is one or a few non-marked image blocks surrounded by a plurality of image blocks marked as a moving object region, they are additionally marked as a moving object region. Through this, it is possible to make the moving object areas divided into several pieces into one, and the effect of such interpolation is clearly seen when comparing [FIG. 7] and [FIG. 8].

단계 (S400) : 앞서의 과정 (S100) 내지 (S300)을 통하여 압축영상에서 이동객체 영역으로 마킹된 복수의 영상 블록들이 상호 연결된 덩어리를 본 발명에서는 압축영상의 이동객체 영역으로 설정한다. 그리고, 이들 이동객체 영역의 각각에 대해 고유 식별정보(Unique ID)를 할당한다.Step (S400): In the present invention, a plurality of blocks in which a plurality of image blocks marked as a moving object region in the compressed image are interconnected through the above steps (S100) to (S300) is set as a moving object region of the compressed image. Then, unique identification information (Unique ID) is assigned to each of these moving object areas.

앞서의 과정 (S100) 내지 (S300)을 통하여 압축영상으로부터 하나이상의 이동객체 영역(region of moving object)을 획득하였다. 이렇게 획득된 이동객체 영역는 [도 8]에 파란 색으로 표시된 것으로서 일련의 과정에서 이동객체 영역에 속한다고 마킹해둔 다수의 영상블록들이 서로 연결되어 뭉쳐진 덩어리이다. 각각의 단계 (S100) 내지 (S300)에서는 영상블록 단위로 이동객체 영역에 속하는지 여부를 판단하여 마킹하였으나, 최종적으로는 이들이 뭉쳐져서 이룬 영상블록의 덩어리가 이동객체 영역으로 다루어진다. 이러한 이동객체 영역은 개념적으로는 압축영상의 신택스 정보에 기초하여 그 안에 하나이상의 이동객체가 포함되어 있을 것으로 추정되어 압축영상으로부터 구분된 부분이다. Through the above steps (S100) to (S300), one or more regions of moving objects were obtained from the compressed image. The obtained moving object region is indicated in blue in [Fig. 8] and is a lump in which a plurality of image blocks marked as belonging to the moving object region are connected to each other in a series of processes. In each of the steps (S100) to (S300), it is determined and marked whether or not it belongs to the moving object region in units of image blocks, but finally, a lump of the image blocks formed by the aggregation of them is treated as the moving object region. The moving object region is a part that is conceptually separated from the compressed image because it is estimated that one or more moving objects are included therein based on the syntax information of the compressed image.

그리고, 이동객체 영역은 개별 프레임 이미지 뿐만 아니라 일련의 영상 프레임 시퀀스에서 일종의 객체처럼 다루어질 수 있다. 영상분석 서버에서의 소프트웨어 처리를 위하여 각각의 이동객체 영역에는 고유 식별정보(Unique ID)를 할당하여 관리하는 것이 바람직하다. [도 8]과 [도 9]를 참조하면 CCTV 압축영상으로부터 3개의 이동객체 영역(영상블록의 덩어리)이 검출되었으며 이들에 대해 각각 001, 002, 003의 Unique ID가 할당되었다.And, the moving object region can be treated as a kind of object in a series of video frame sequences as well as individual frame images. For software processing in the image analysis server, it is preferable to allocate and manage unique identification information (Unique ID) to each moving object area. 8 and 9, three moving object areas (lumps of image blocks) were detected from CCTV compressed images, and unique IDs of 001, 002, and 003 were assigned to them.

단계 (S500) : 그리고 나서, 압축영상에서 시간 흐름에 대응하여 이루어지는 일련의 프레임 시퀀스에서 앞서 기설정된 이동객체 영역이 사라지는 이벤트를 감지한다. 압축영상에서 예컨대 t = 12.50초에서 추출되었던 이동객체 영역이 그 이후의 영상 프레임, 예컨대 t = 13.50초에서 수행된 (S100) 내지 (S400)에서는 이동객체 영역으로 나타내지 않는 상황이 발생되는 것이다. Step (S500): Then, in a series of frame sequences corresponding to a time flow in the compressed image, an event in which the previously set moving object region disappears is detected. In the compressed image, a situation in which a moving object region that has been extracted at, for example, t = 12.50 seconds is not represented as a moving object region occurs in (S100) to (S400) performed at a subsequent image frame, for example, t = 13.50 seconds.

이러한 상황은 CCTV 촬영영상에서는 일상적으로 발생할 수 있는데, [도 10]은 CCTV 압축영상의 경우에 영상 내용의 측면에서는 관제요원에게 지속적인 관심을 요구해야 함에도 불구하고 앞서 살펴본 (S100) 내지 (S400)에서는 이동객체 영역으로 마킹되지 않는 2가지 상황을 개념적으로 나타낸다. 본 발명에서는 단계 (S500) 내지 (S800)을 통해 컨텍스트를 고려하여 압축영상으로부터 이동객체 영역을 추출하는 과정을 좀더 타당하게 조정함으로써 본 발명에 따른 신택스 기반의 이동객체 추출 기술의 신뢰성과 유용성을 개선한다.Such a situation may occur routinely in CCTV photographed images. [Fig. 10] shows that in the case of CCTV compressed images, in the aspect of video contents, in spite of having to continuously request attention from the control personnel, in (S100) to (S400) Conceptually represents two situations that are not marked as moving object areas. In the present invention, through the steps (S500) to (S800), considering the context, the process of extracting the moving object region from the compressed image is more appropriately adjusted to improve the reliability and usefulness of the syntax-based moving object extraction technology according to the present invention. do.

[도 10]은 CCTV 압축영상으로부터 이동객체를 추출할 때 컨텍스트를 고려해야 하는 2가지 상황을 개념적으로 나타내는 도면이다.10 is a diagram conceptually showing two situations in which context should be considered when extracting a moving object from a CCTV compressed image.

먼저, [도 10]의 (A)는 객체가 이동하다가 일시적으로 정지해서 가만히 있는 상황을 나타낸 것이다. (A-1)에서는 객체가 이동하므로 (S100) 내지 (S400)를 통해 압축영상에서 이동객체 영역이 설정될 것이다. (A-2)에서는 객체가 정지해 있으므로 이동객체 영역이 검출되지 않는다. [도 4]를 참조하여 후술하는 바와 같이, (A-2)에서는 객체가 정지하여 있기 때문에 모션벡터가 나오지 않으며, 그에 따라 이동객체 영역이 없다고 판단될 것이다. (A-3)에서는 다시 객체가 이동하고 있으므로 (S100) 내지 (S400)를 통해 압축영상에서 이동객체 영역이 설정될 것이다. 신택스 정보로는 영상 내용을 이해할 수 없으므로 (A-3)과 (A-1)에서 설정된 이동객체 영역은 서로 별개인 것으로 다루어질 것이다.First, (A) of [FIG. 10] shows a situation where the object is moved and temporarily stopped. In (A-1), since the object moves, the moving object area in the compressed image will be set through (S100) to (S400). In (A-2), since the object is stationary, the moving object area is not detected. As will be described later with reference to FIG. 4, in (A-2), since the object is stationary, the motion vector does not appear, and accordingly, it will be determined that there is no moving object area. In (A-3), since the object is moving again, the moving object area in the compressed image will be set through (S100) to (S400). Since the video content cannot be understood with syntax information, the moving object areas set in (A-3) and (A-1) will be treated as separate.

[도 10]의 (B)는 객체가 동일 위치에서 특정의 행위를 수행하는 상황을 나타낸 것이다. (B-1)에서는 객체가 이동하므로 (S100) 내지 (S400)를 통해 압축영상에서 이동객체 영역이 설정될 것이다. (B-2)에서도 객체들이 위치를 이동하면서 다툼을 벌일 것이므로 (S100) 내지 (S400)를 통해 이동객체 영역이 계속 존재하는 것으로 처리될 것이다. 그러나, (B-3)에서는 객체들이 서로 격렬한 싸움을 벌이고 있기는 하지만 동일 위치를 유지하고 있기 때문에 압축영상에서 모션벡터가 나오지 않으며 그에 따라 이동객체 영역이 없다고 판단될 것이다.(B) of FIG. 10 shows a situation in which an object performs a specific action at the same location. In (B-1), since the object moves, the moving object area in the compressed image will be set through (S100) to (S400). In (B-2), since the objects will have a quarrel while moving the position, it will be processed that the moving object area continues to exist through (S100) to (S400). However, in (B-3), although the objects are struggling with each other, since they maintain the same position, it will be determined that the motion vector does not appear in the compressed image and thus there is no moving object area.

이처럼 [도 10]에서 살펴본 바와 같이, (S100) 내지 (S400)의 과정을 통해서만 신택스 기반으로 압축영상에서 이동객체 영역을 추출하는 것은 영상의 내용과는 맞지않아 부적절한 상황이 발생될 수 있다. 특히, (S100) 내지 (S400)을 통해 압축영상으로부터 식별되었던 이동객체 영역이 그 후속하는 영상 프레임에서 사라지는 경우가 문제가 된다. 그러한 이벤트가 발생한 경우에, 그 사라진 이동객체 영역을 소멸된 것으로 처리할 것인지, 아니면 이동객체 영역으로서 계속 유지해줄 것인지 판단하는 것이 관건이다. 본 발명에서는 그러한 이벤트가 발생하는 경우에 문맥(컨텍스트)를 고려하여 소명 또는 유지를 판단하는데, 그 내용에 대해서는 (S600) 내지 (S800)을 참조하여 후술한다.As described in [Fig. 10], extracting a moving object region from a compressed image based on syntax only through the processes of (S100) to (S400) may not be suitable for the content of the image, and an inappropriate situation may occur. Particularly, it is a problem that the moving object region identified from the compressed image through (S100) to (S400) disappears from the subsequent image frame. When such an event occurs, the key is to decide whether to treat the disappeared moving object area as being destroyed or to keep it as the moving object area. In the present invention, when such an event occurs, the calling or maintenance is determined in consideration of the context (context), and the contents thereof will be described later with reference to (S600) to (S800).

단계 (S600) : 먼저, [도 10]의 (A)와 같은 상황을 고려하며, 현재 영상 프레임에서 사라진 이동객체 영역이 압축영상에서 마지막으로 이동객체 영역으로 설정된 시점으로부터의 경과 시간이 미리 설정된 시간 간격(예: 3초) 이내라면 이동객체 영역이 검출되지 않고 사라진 것처럼 보이더라도 일단은 소멸 처리하지 않고 이동객체 영역으로 유지 설정한다. Step (S600): First, taking into account the situation as shown in (A) of [Fig. 10], the time elapsed from the time when the moving object area disappeared from the current image frame was finally set as the moving object area in the compressed image is a preset time If it is within an interval (for example, 3 seconds), even if the moving object area appears to disappear without being detected, it is set to maintain the moving object area without extinction.

CCTV 촬영영상의 속성상, 이동객체 영역은 압축영상에서 어느 정도 시간에 걸쳐서, 즉 여러 영상 프레임에 걸쳐서 나타나기 마련이다. (S400)에서 이동객체 영역이라고 설정되었다면 이에 대해서는 상당한 신뢰도를 가지고 검증이 이루어진 것이라고 추정한다. 즉, 영상의 내용을 분석하지는 않았지만 해당 이동객체 영역 안에는 객체가 포함되어 있을 개연성이 상당히 높다고 추정한다. 따라서, 그 설정된 이동객체 영역이 후속 영상 프레임에서 갑자기 추출되지 않는다면 [도 10]의 (A)와 같이 해당 객체가 영상에 존재하지만 일시적으로 모션벡터가 나타나지 않아서 검출되지 않았을 가능성도 고려되어야 한다. 이에, 미리 설정된 시간 동안은 (S100) 내지 (S300)에서 추출되지 않더라도 그 사라진 이동객체 영역을 소멸 처리하지 않고 임시적으로 유지 설정하는 것이다.Due to the nature of CCTV images, the moving object area will appear in a compressed image over a period of time, that is, across multiple image frames. If it is set as a moving object area in (S400), it is assumed that verification has been made with considerable reliability. That is, although the content of the image has not been analyzed, it is estimated that the likelihood that an object is included in the moving object area is quite high. Therefore, if the set moving object region is not suddenly extracted from the subsequent image frame, the possibility that the object exists in the image but is not detected because the motion vector does not appear temporarily as shown in (A) of FIG. 10 should be considered. Accordingly, even if it is not extracted in (S100) to (S300) for a predetermined period of time, the disappeared moving object area is temporarily maintained without being destroyed.

이에 의해, [도 10]의 (A)의 경우를 살펴보면, 객체가 잠시 정지하고 있는 (A-2) 상태의 시간이 미리 설정된 시간(예: 3초) 이내라면 (A-1) 내지 (A-3)에 걸쳐서 하나의 이동객체 영역이 추출된 것으로 다루어진다. Thus, looking at the case of (A) of [Fig. 10], if the time in the state in which the object is temporarily stopped (A-2) is within a preset time (for example, 3 seconds) (A-1) to (A) One moving object area is treated as extracted over -3).

만일, 예컨대 자동차가 지나가버린 것과 같이 이동객체 영역이 CCTV 촬영영상에서 정말로 벗어난 것이라면 해당 객체가 압축영상에서 사라지고나서 미리 설정된 시간(예: 3초)이 경과하면 이동객체 영역도 소멸된다.If, for example, the moving object area is really out of the CCTV image, for example, a car has passed, the moving object area is also destroyed when a predetermined time (for example, 3 seconds) elapses after the object disappears from the compressed image.

단계 (S700, S800) : 다음으로, [도 10]의 (B)와 같은 상황을 고려하며, 현재 영상 프레임에서 사라진 이동객체 영역에 대하여 로컬영역 예측에 따른 계수 값을 획득한다. 이때, 로컬영역 예측(local-domain prediction)은 좁은 이미지 영역을 대상으로 하는 예측 기법으로서 DC/AD 예측(DC/AD prediction) 및 인트라 예측(Intra prediction) 중 하나 이상을 포함한다. 영상압축 기술 규격에 따라서는 다른 형태의 로컬영역 예측 기법이 사용될 수 있다. 상대적으로, (S100)에서 참조하는 모션벡터는 전체 이미지 영역을 대상으로 하는 예측의 결과이므로 글로벌영역 예측(global-domain prediction)이라고 부를 수 있다.Steps (S700, S800): Next, taking into account the situation as shown in (B) of [FIG. 10], a coefficient value according to local area prediction is obtained for a moving object area disappeared from the current image frame. In this case, local-domain prediction is a prediction technique targeting a narrow image region and includes one or more of DC/AD prediction and intra prediction. Depending on the video compression technology standard, other types of local area prediction techniques can be used. Relatively, the motion vector referred to in (S100) may be referred to as global-domain prediction since it is a result of prediction targeting an entire image area.

압축영상의 인코딩 측, 예컨대 CCTV 카메라에서 이러한 로컬영역 예측을 수행함에 따라 압축영상의 데이터에는 계수가 삽입되는데, (S700)에서는 압축영상을 파싱한 결과로부터 이 계수를 획득한다. 이러한 계수(coefficients)로는 DC 계수와 AC 계수를 들 수 있다. 이동객체 영역은 복수의 영상 블록으로 이루어져 있으므로 해당 이동객체 영역에 대응하여 복수 개의 계수를 획득할 수 있는데, 바람직하게는 이들 계수의 절대치를 합산하여 계수 값으로 설정한다.Coefficients are inserted into the data of the compressed image as the local side prediction is performed by the encoding side of the compressed image, for example, a CCTV camera. In S700, this coefficient is obtained from the result of parsing the compressed image. The coefficients include DC coefficients and AC coefficients. Since the moving object area is composed of a plurality of image blocks, a plurality of coefficients can be obtained corresponding to the moving object area. Preferably, the absolute values of these coefficients are summed and set as a coefficient value.

그리고 나서, 그 사라진 이동객체 영역 부분에서 획득된 계수 값이 미리 설정된 제 3 임계치보다 큰 경우에 그 사라진 이동객체 영역을 소멸 처리하지 않고 이동객체 영역으로 유지 설정한다. [도 10]의 (B)와 같이, 객체가 이동을 중단하고 해당 위치에서 싸움이나 폭행과 같은 무언가 격렬한 행위를 일으키고 있을 개연성이 높다고 판단하는 것이다.Then, when the coefficient value obtained in the disappeared moving object area portion is greater than the preset third threshold, the disappeared moving object area is maintained and set as the moving object area without destruction processing. As shown in (B) of [Fig. 10], it is determined that the likelihood that an object stops moving and is causing something violent behavior such as a fight or an assault at the corresponding position is high.

[도 4]는 본 발명에서 압축영상으로부터 유효 움직임(effective movement) 영역을 검출하는 과정의 구현 예를 나타내는 순서도이고, [도 5]는 CCTV 압축영상에 대해 유효 움직임 영역 검출 과정이 적용된 결과의 일 예를 나타내는 도면이다. [도 4]의 프로세스는 [도 3]에서 단계 (S100)에 대응한다.[Figure 4] is a flow chart showing an example of the implementation of the process of detecting the effective movement (effective movement) area from the compressed image in the present invention, [Figure 5] is one of the results of the effective motion area detection process applied to the CCTV compressed image It is a figure showing an example. The process in FIG. 4 corresponds to step S100 in [FIG. 3 ].

단계 (S110) : 먼저, 압축영상의 코딩 유닛을 파싱하여 모션벡터 및 코딩유형을 획득한다. [도 1]을 참조하면, 동영상 디코딩 장치는 압축영상의 스트림에 대해 H.264 AVC 및 H.265 HEVC 등과 같은 동영상압축 표준에 따라 구문분석(헤더 파싱) 및 모션벡터 연산을 수행한다. 이러한 과정을 통하여 압축영상의 코딩 유닛에 대하여 모션벡터와 코딩유형을 파싱해낸다.Step (S110): First, the coding unit of the compressed image is parsed to obtain a motion vector and a coding type. Referring to FIG. 1, the video decoding apparatus performs parsing (header parsing) and motion vector operations according to video compression standards such as H.264 AVC and H.265 HEVC on a stream of compressed video. Through this process, motion vectors and coding types are parsed for the coding unit of the compressed image.

단계 (S120) : 압축영상을 구성하는 복수의 영상 블록 별로 미리 설정된 시간(예: 500 ms) 동안의 모션벡터 누적값을 획득한다. Step (S120): The motion vector accumulation value for a preset time (eg, 500 ms) is obtained for each of the plurality of image blocks constituting the compressed image.

이 단계는 압축영상으로부터 실질적으로 의미를 인정할만한 유효 움직임, 예컨대 주행중인 자동차, 달려가는 사람, 서로 싸우는 군중들이 있다면 이를 검출하려는 의도를 가지고 제시되었다. 흔들리는 나뭇잎, 잠시 나타나는 고스트, 빛의 반사에 의해 약간씩 변하는 그림자 등은 비록 움직임은 있지만 실질적으로는 무의미한 객체이므로 검출되지 않도록 한다.This step was presented with the intention of detecting effective motions that are practically recognizable from the compressed image, such as a driving car, a running person, and a crowd fighting each other. Shaking leaves, ghosts that appear briefly, and shadows that change slightly due to reflection of light, etc., should not be detected as they are practically meaningless objects even though there is movement.

이를 위해, 미리 설정된 일정 시간(예: 500 msec) 동안 하나이상의 영상 블록 단위로 모션벡터를 누적시켜 모션벡터 누적값을 획득한다. 이때, 영상 블록은 매크로블록과 서브블록을 포함하는 개념으로 사용된 것이다.To this end, a motion vector is accumulated by accumulating motion vectors in one or more image block units for a predetermined time (eg, 500 msec). At this time, the video block is used as a concept including a macroblock and a subblock.

단계 (S130, S140) : 복수의 영상 블록에 대하여 모션벡터 누적값을 미리 설정된 제 1 임계치(예: 20)와 비교하며, 제 1 임계치를 초과하는 모션벡터 누적값을 갖는 영상 블록을 이동객체 영역으로 마킹한다.Steps (S130, S140): The motion vector accumulation value is compared with a preset first threshold value (for example, 20) for a plurality of image blocks, and an image block having a motion vector accumulation value exceeding the first threshold value is moved object area It is marked with.

만일 이처럼 일정 이상의 모션벡터 누적값을 갖는 영상 블록이 발견되면 해당 영상 블록에서 무언가 유의미한 움직임, 즉 유효 움직임이 발견된 것으로 보고 이동객체 영역으로 마킹한다. 예컨대 영상관제 시스템에서 사람이 뛰어가는 정도로 관제 요원이 관심을 가질만한 가치가 있을 정도의 움직임을 선별하여 검출하려는 것이다. 반대로, 모션벡터가 발생하였더라도 일정 시간동안의 누적값이 제 1 임계치를 넘지 못할 정도로 작을 경우에는 영상에서의 변화가 그다지 크지않고 미미한 것으로 추정하고 검출 단계에서 무시한다.If an image block having a motion vector cumulative value equal to or greater than a certain level is found, it is marked as a moving object area, as something meaningful motion, that is, an effective motion is found in the corresponding image block. For example, it is intended to select and detect movements that are worth the attention of the control personnel to the extent that a person jumps in the video control system. Conversely, even if a motion vector occurs, if the accumulated value for a certain time is small enough to not exceed the first threshold, the change in the image is not so large and is assumed to be insignificant and ignored in the detection step.

[도 5]는 본 발명에서 [도 4]의 과정을 통해 CCTV 압축영상으로부터 유효 움직임 영역을 검출한 결과를 시각적으로 나타낸 일 예이다. [도 5]에서는 제 1 임계치 이상의 모션벡터 누적값을 갖는 영상 블록이 이동객체 영역으로 마킹되어 붉은 색으로 표시되었다. [도 5]를 살펴보면 보도블럭이나 도로, 그리고 그림자가 있는 부분 등은 이동객체 영역으로 표시되지 않은 반면, 걷고있는 사람들이나 주행중인 자동차 등이 이동객체 영역으로 표시되었다.[Figure 5] is an example of visually showing the result of detecting an effective motion area from a CCTV compressed image through the process of [Figure 4] in the present invention. In FIG. 5, an image block having a motion vector accumulation value equal to or greater than a first threshold is marked as a moving object area and displayed in red. Looking at [Fig. 5], a sidewalk block, a road, and a portion with a shadow are not displayed as a moving object area, while walking people or a driving car are displayed as a moving object area.

[도 6]은 본 발명에서 이동객체 영역에 대한 바운더리 영역(boundary area)을 검출하는 과정의 구현 예를 나타내는 순서도이고, [도 7]은 [도 5]의 CCTV 영상 이미지에 대해 [도 6]에 따른 바운더리 영역 검출 과정이 적용된 결과의 일 예를 나타내는 도면이다. [도 6]의 프로세스는 [도 3]에서 단계 (S200)에 대응한다.[Figure 6] is a flow chart showing an example of the implementation of the process of detecting a boundary area (boundary area) for the moving object area in the present invention, [Figure 7] is for the CCTV video image of [Figure 5] [Figure 6] A diagram showing an example of a result in which a boundary area detection process according to is applied. The process in FIG. 6 corresponds to step S200 in [FIG. 3 ].

앞서의 [도 5]를 살펴보면 이동객체에 해당되는 영상블록이 제대로 마킹되지 않았으며 일부에 대해서만 마킹이 이루어진 것을 발견할 수 있다. 즉, 걷고있는 사람이나 주행중인 자동차를 살펴보면 객체의 전부가 마킹되지 않고 그 일부의 영상블록만 마킹되었음을 발견할 수 있다. 또한, 하나의 이동객체에 대해 복수의 이동객체 영역이 형성된 것도 많이 발견된다. 자동차를 살펴보면 복수 개의 이동객체 영역이 형성되어 있다. 이는 앞의 (S100)에서 채택한 이동객체 영역의 판단 기준이 일반 영역을 필터링 아웃하는 데에는 매우 유용하지만 상당히 엄격한 것이었음을 의미한다. 따라서, 앞서 (S100)에서 마킹된 이동객체 영역을 중심으로 그 주변의 영상블록들을 검토하고 일정 기준을 만족한다면 이동객체 영역을 추가로 마킹해줌으로써 결과적으로는 이동객체 영역의 바운더리를 검출하는 과정이 필요하다.Looking at [FIG. 5] above, it can be found that the video block corresponding to the moving object was not properly marked, and only part of the video block was marked. That is, when looking at a walking person or a driving car, it can be found that not all of the objects are marked, but only some of the video blocks are marked. In addition, it is also found that a plurality of moving object regions are formed for one moving object. Looking at the car, a plurality of moving object areas are formed. This means that the criteria for determining the moving object area adopted in (S100) above is very useful for filtering out the general area, but it is quite strict. Therefore, the process of detecting the boundary of the moving object area is consequently performed by reviewing the image blocks around the moving object area marked in (S100) and marking the moving object area additionally if a certain criterion is satisfied. need.

단계 (S210) : 먼저, 앞의 (S100)에 의해 이동객체 영역으로 마킹된 영상 블록을 중심으로 하여 인접하는 복수의 영상 블록을 식별한다. 이들은 본 명세서에서는 '이웃 블록(neighboring blocks)'이라고 부른다. 이들 이웃 블록은 (S100)에 의해서는 이동객체 영역으로 마킹되지 않은 부분인데, [도 6]의 프로세스에서는 이들에 대해 좀더 살펴봄으로써 이들 이웃 블록 중에서 이동객체 영역의 바운더리에 포함될만한 것이 있는지 확인하려는 것이다.Step (S210): First, a plurality of adjacent image blocks are identified centering on the image block marked as the moving object area by the preceding (S100). These are referred to herein as'neighboring blocks'. These neighboring blocks are parts that are not marked as moving object areas by (S100). In the process of [Fig. 6], by looking at them more, it is to check whether any of these neighboring blocks may be included in the boundary of the moving object area. .

단계 (S220, S230) : 복수의 이웃 블록에 대하여 모션벡터 값을 미리 설정된 제 2 임계치와 비교하고, 제 2 임계치를 초과하는 모션벡터 값을 갖는 이웃 블록을 이동객체 영역으로 마킹한다. 실질적으로 의미를 부여할만한 유효 움직임이 인정된 이동객체 영역에 인접하여 위치하고 그 자신에 대해서도 어느 정도의 움직임이 발견되고 있다면 그 영상 블록은 촬영 영상(예: CCTV 영상)의 특성상 앞의 이동객체 영역과 한 덩어리일 가능성이 높다. 따라서, 이러한 이웃 블록도 이동객체 영역이라고 마킹한다. Steps (S220, S230): For a plurality of neighboring blocks, a motion vector value is compared with a preset second threshold, and a neighboring block having a motion vector value exceeding the second threshold is marked as a moving object area. If the effective motion that can give practical meaning is located adjacent to the recognized moving object area, and a certain amount of motion is also found in itself, the video block may differ from the preceding moving object area due to the nature of the captured video (eg CCTV video). It is most likely a lump. Therefore, this neighboring block is also marked as a moving object area.

이를 구현하는 제 1 실시예로서, 각각의 이웃 블록을 검사하여, 현재 프레임에서 검출된 모션벡터 값이 미리 설정된 제 2 임계치(예: 0) 이상인 경우에 해당 영상 블록도 이동객체 영역으로 마킹한다.As a first embodiment to implement this, each neighboring block is examined, and when the motion vector value detected in the current frame is greater than or equal to a preset second threshold (eg, 0), the corresponding video block is also marked as a moving object area.

한편, 제 2 실시예로서, 이웃 블록에 대해 앞서 (S100)에서 산출하였던 모션벡터 누적값이 미리 설정된 제 2 임계치(예: 5) 이상인 경우에는 해당 영상 블록도 이동객체 영역으로 마킹할 수 있다. 이때, 제 2 임계치는 제 1 임계치에 비해 작은 값으로 설정되는 것이 타당하다.On the other hand, as a second embodiment, if the motion vector accumulation value previously calculated in (S100) for a neighboring block is equal to or greater than a preset second threshold (eg, 5), the corresponding image block may also be marked as a moving object area. At this time, it is reasonable that the second threshold is set to a smaller value than the first threshold.

단계 (S240) : 또한, 복수의 이웃 블록 중에서 코딩유형이 인트라 픽쳐인 것을 이동객체 영역으로 마킹한다. 인트라 픽쳐의 경우에는 모션벡터가 존재하지 않기 때문에 해당 이웃 블록이 이동객체 영역에 해당되는지 여부를 모션벡터에 기초하여 판단하는 것이 불가능하다. 이동객체 영역으로 이미 검출된 영상 블록에 인접하여 위치하는 인트라 픽쳐라면 기 추출된 이동객체 영역과 함께 한 덩어리를 이루는 것으로 추정하는 것이 바람직하다. 이동객체 영역이 아닌 영상 블록 하나가 이동객체 영역에 포함되었을 때의 손실은 별로 크지 않은 반면, 이동객체 영역이 파편화되었을 때의 손실은 크기 때문이다.Step S240: Further, among the plurality of neighboring blocks, a coding type is an intra picture, and is marked as a moving object area. In the case of an intra picture, since a motion vector does not exist, it is impossible to determine whether a corresponding neighboring block corresponds to a moving object area based on the motion vector. If the intra picture is located adjacent to an image block that has already been detected as a moving object area, it is preferable to estimate that it is formed as a lump together with the extracted moving object area. This is because the loss when the moving object region is fragmented is not large, whereas the loss when the image block other than the moving object region is included in the moving object region is large.

[도 7]은 본 발명에서 CCTV 압축영상에 바운더리 영역 검출 과정까지 적용된 결과를 시각적으로 나타낸 도면인데, 이상의 과정을 통해 이동객체 영역으로 마킹된 다수의 영상 블록을 파란 색으로 표시하였다. [도 7]을 살펴보면, 앞서 [도 5]에서 붉은 색으로 표시되었던 이동객체 영역의 근방으로 파란 색의 이동객체 영역은 좀더 확장되었으며 이를 통해 CCTV로 촬영된 실제 영상과 비교할 때 이동객체를 전부 커버할 정도가 되었다는 사실을 발견할 수 있다.7 is a diagram visually showing the results applied to the CCTV compression image in the present invention until the boundary area detection process. Through the above process, a plurality of image blocks marked as moving object areas are displayed in blue. Looking at [Fig. 7], in the vicinity of the moving object area indicated in red in [Fig. 5], the moving object area in blue color is expanded more, and through this, it covers all moving objects when compared with the actual video shot by CCTV. You can find that it is enough to do.

[도 8]은 [도 7]의 CCTV 영상 이미지에 대해 인터폴레이션을 통해 이동객체 영역을 정리한 결과의 일 예를 나타내는 도면이다.8 is a diagram showing an example of a result of arranging a moving object area through interpolation with respect to the CCTV video image of [FIG. 7 ].

단계 (S300)은 앞의 (S100)과 (S200)에서 검출된 이동객체 영역에 인터폴레이션을 적용하여 이동객체 영역의 분할을 정리하는 과정이다. [도 7]을 살펴보면 파란 색으로 표시된 이동객체 영역 사이사이에 비마킹 영상 블록이 발견된다. 이렇게 중간중간에 비마킹 영상 블록이 존재하게 되면 이들이 다수의 개별적인 이동객체인 것처럼 간주될 수 있다. 이렇게 이동객체 영역이 파편화되면 이동객체 영역을 활용하는 각종 프로세스의 처리 결과가 부정확해지는 문제가 있다. 또한, 이동객체 영역이 파편화되면 이동객체 영역의 갯수가 많아져서 이동객체 영역을 활용하는 각종 프로세스가 복잡해지고 느려지는 문제도 있다.Step (S300) is a process of arranging the division of the moving object area by applying interpolation to the moving object areas detected in the above (S100) and (S200). Referring to FIG. 7, a non-marking image block is found between regions of a moving object indicated in blue. If there are non-marking image blocks in the middle, it can be considered that they are a large number of individual mobile objects. When the moving object region is fragmented in this way, there is a problem in that the processing results of various processes using the moving object region are inaccurate. In addition, when the moving object area is fragmented, the number of moving object areas increases, and thus various processes using the moving object area become complicated and slow.

그에 따라, 본 발명에서는 이동객체 영역으로 마킹된 복수의 영상 블록으로 둘러싸인 상태인 하나 혹은 소수의 비마킹 영상 블록이 존재한다면 이는 이동객체 영역으로 마킹하는데, 이를 인터폴레이션이라고 부른다. [도 7]과 대비하여 [도 8]을 살펴보면, 이동객체 영역 사이사이에 존재하던 비마킹 영상 블록이 모두 이동객체 영역이라고 마킹되었다. 이를 통해, 덩어리로 움직이는 영역은 모두 묶어서 좀더 큰 하나의 이동객체로서 다루게 된다.Accordingly, in the present invention, if there is one or a few non-marking image blocks in a state surrounded by a plurality of image blocks marked as a moving object region, it is marked as a moving object region, which is called interpolation. Looking at [Fig. 8] in contrast to [Fig. 7], all non-marking image blocks existing between the moving object areas are marked as moving object areas. Through this, all the areas moving in a lump are grouped and treated as a larger moving object.

[도 5], [도 7], [도 8]을 비교하면 바운더리 영역 검출 과정과 인터폴레이션 과정을 거치면서 이동객체 영역이 실제 영상의 상황을 제대로 반영하게 되어간다는 사실을 발견할 수 있다. [도 5]에서 붉은 색으로 마킹된 덩어리로 판단한다면 영상 화면 속에 아주 작은 물체들이 다수 움직이는 것처럼 다루어질 것인데, 이는 실제와는 부합하지 않는다. 반면, [도 8]에서 파란 색으로 마킹된 덩어리로 판단한다면 어느 정도의 부피를 갖는 몇 개의 이동객체가 존재하는 것으로 다루어질 것이어서 실제 장면을 유사하게 반영하게 된다.Comparing [FIG. 5], [FIG. 7], and [FIG. 8], it can be found that the moving object region properly reflects the situation of the actual image through the boundary region detection process and the interpolation process. In [Fig. 5], if it is judged as a chunk marked with red, it will be treated as if a lot of very small objects move in the video screen, which does not correspond to the actual. On the other hand, if it is judged as a lump marked with blue in [Fig. 8], several moving objects having a certain volume will be treated, and thus the actual scene is similarly reflected.

한편, 본 발명은 컴퓨터가 읽을 수 있는 비휘발성 기록매체에 컴퓨터가 읽을 수 있는 코드의 형태로 구현되는 것이 가능하다. 이러한 비휘발성 기록매체로는 다양한 형태의 스토리지 장치가 존재하는데 예컨대 하드디스크, SSD, CD-ROM, NAS, 자기테이프, 웹디스크, 클라우드 디스크 등이 있고 네트워크로 연결된 다수의 스토리지 장치에 코드가 분산 저장되고 실행되는 형태도 구현될 수 있다. 또한, 본 발명은 하드웨어와 결합되어 특정의 절차를 실행시키기 위하여 매체에 저장된 컴퓨터프로그램의 형태로 구현될 수도 있다.On the other hand, the present invention can be implemented in the form of computer-readable code on a computer-readable non-volatile recording medium. There are various types of storage devices such as hard disks, SSDs, CD-ROMs, NAS, magnetic tapes, web disks, cloud disks, etc., and codes are distributed and stored in multiple networked storage devices. The form of being executed can also be implemented. In addition, the present invention may be implemented in the form of a computer program stored in a medium in order to execute a specific procedure in combination with hardware.

Claims (8)

압축영상의 비트스트림을 파싱하여 코딩 유닛에 대한 모션벡터 및 코딩유형을 획득하는 제 1 단계;
압축영상을 구성하는 복수의 영상 블록 별로 미리 설정된 시간동안의 모션벡터 누적값을 획득하는 제 2 단계;
상기 복수의 영상 블록에 대하여 상기 모션벡터 누적값을 미리 설정된 제 1 임계치와 비교하는 제 3 단계;
상기 제 1 임계치를 초과하는 모션벡터 누적값을 갖는 영상 블록을 이동객체 영역으로 마킹하는 제 4 단계;
상기 이동객체 영역으로 마킹된 복수의 영상 블록들이 상호 연결된 덩어리를 상기 압축영상의 이동객체 영역으로 설정하는 제 5 단계;
상기 압축영상을 구성하는 프레임 시퀀스에서 기설정된 이동객체 영역이 사라지는 이벤트를 감지하는 제 6 단계;
상기 사라진 이동객체 영역에서 로컬영역 예측에 따른 계수 값을 획득하는 제 7 단계;
상기 계수 값이 미리 설정된 제 3 임계치보다 큰 경우에 상기 사라진 이동객체 영역에 대해 이동객체 영역으로 유지 설정하는 제 8 단계;
를 포함하여 구성되는 컨텍스트를 고려한 압축영상에 대한 신택스 기반의 이동객체 영역 추출 방법.
A first step of parsing a bitstream of a compressed image and obtaining a motion vector and coding type for a coding unit;
A second step of obtaining a motion vector accumulation value for a preset time for each of a plurality of image blocks constituting a compressed image;
A third step of comparing the motion vector accumulation value with a preset first threshold value for the plurality of image blocks;
A fourth step of marking an image block having a motion vector accumulation value exceeding the first threshold as a moving object area;
A fifth step of setting a lump in which a plurality of image blocks marked as the moving object region are interconnected as a moving object region of the compressed image;
A sixth step of detecting an event in which a preset moving object region disappears from a frame sequence constituting the compressed image;
A seventh step of obtaining a coefficient value according to local area prediction in the disappeared moving object area;
An eighth step of maintaining and setting the missing moving object area as a moving object area when the coefficient value is greater than a preset third threshold;
Syntax-based moving object region extraction method for compressed images in consideration of a context composed of a.
청구항 1에 있어서,
상기 제 7 단계에서 상기 로컬영역 예측은 DC/AD 예측(DC/AD prediction) 및 인트라 예측(Intra prediction) 중 하나 이상을 포함하는 것을 특징으로 하는 컨텍스트를 고려한 압축영상에 대한 신택스 기반의 이동객체 영역 추출 방법.
The method according to claim 1,
In the seventh step, the local area prediction includes at least one of DC/AD prediction and intra prediction, and a syntax-based moving object area for compressed images in consideration of a context. Extraction method.
청구항 1에 있어서,
상기 제 6 단계와 상기 제 7 단계 사이에 수행되는,
상기 사라진 이동객체 영역이 상기 압축영상에서 마지막으로 설정된 시점으로부터 미리 설정된 시간 간격 이내면 상기 사라진 이동객체 영역에 대해 이동객체 영역으로 유지 설정하는 단계;
를 더 포함하여 구성되는 것을 특징으로 하는 컨텍스트를 고려한 압축영상에 대한 신택스 기반의 이동객체 영역 추출 방법.
The method according to claim 1,
Performed between the sixth step and the seventh step,
Maintaining and setting the missing moving object area as a moving object area if the disappeared moving object area is within a preset time interval from a time point last set in the compressed image;
Syntax-based moving object region extraction method for compressed images in consideration of a context, further comprising a.
청구항 1에 있어서,
상기 제 4 단계와 상기 제 5 단계 사이에 수행되는,
상기 이동객체 영역을 중심으로 그 인접하는 복수의 영상 블록(이하, '이웃 블록'이라 함)을 식별하는 제 a 단계;
상기 복수의 이웃 블록에 대하여 상기 제 1 단계에서 획득된 모션벡터 값을 미리 설정된 제 2 임계치와 비교하는 제 b 단계;
상기 복수의 이웃 블록 중에서 상기 제 b 단계의 비교 결과 상기 제 2 임계치를 초과하는 모션벡터 값을 갖는 이웃 블록을 이동객체 영역으로 추가 마킹하는 제 c 단계;
를 더 포함하여 구성되는 것을 특징으로 하는 컨텍스트를 고려한 압축영상에 대한 신택스 기반의 이동객체 영역 추출 방법.
The method according to claim 1,
Performed between the fourth step and the fifth step,
A step a of identifying a plurality of adjacent image blocks (hereinafter referred to as'neighbor blocks') with respect to the moving object region;
A step b of comparing the motion vector values obtained in the first step with a preset second threshold for the plurality of neighboring blocks;
A step c of additionally marking a neighboring block having a motion vector value exceeding the second threshold as a moving object area as a result of the comparison of step b among the plurality of neighboring blocks;
Syntax-based moving object region extraction method for compressed images in consideration of a context, further comprising a.
청구항 1에 있어서,
상기 제 4 단계와 상기 제 5 단계 사이에 수행되는,
상기 이동객체 영역을 중심으로 그 인접하는 복수의 영상 블록(이하, '이웃 블록'이라 함)을 식별하는 제 a 단계;
상기 복수의 이웃 블록에 대하여 상기 모션벡터 누적값을 상기 제 1 임계치보다 작은 값으로 미리 설정된 제 2 임계치와 비교하는 제 b 단계;
상기 복수의 이웃 블록 중에서 상기 제 b 단계의 비교 결과 상기 제 2 임계치를 초과하는 모션벡터 누적값을 갖는 이웃 블록을 이동객체 영역으로 추가 마킹하는 제 c 단계;
를 더 포함하여 구성되는 것을 특징으로 하는 컨텍스트를 고려한 압축영상에 대한 신택스 기반의 이동객체 영역 추출 방법.
The method according to claim 1,
Performed between the fourth step and the fifth step,
A step a of identifying a plurality of adjacent image blocks (hereinafter referred to as'neighbor blocks') with respect to the moving object region;
A step b of comparing the accumulated motion vector with respect to the plurality of neighboring blocks to a second threshold that is preset to a value less than the first threshold;
A step c of additionally marking a neighboring block having a motion vector accumulation value exceeding the second threshold as a moving object area as a result of the comparison of step b among the plurality of neighboring blocks;
Syntax-based moving object region extraction method for compressed images in consideration of a context, further comprising a.
청구항 4 또는 청구항 5에 있어서,
상기 제 c 단계 이후에 수행되는,
상기 복수의 이웃 블록 중에서 코딩유형이 인트라 픽쳐인 이웃 블록을 이동객체 영역으로 추가 마킹하는 제 d 단계;
를 더 포함하여 구성되는 것을 특징으로 하는 컨텍스트를 고려한 압축영상에 대한 신택스 기반의 이동객체 영역 추출 방법.
The method according to claim 4 or claim 5,
Performed after step c,
A d step of additionally marking a neighboring block having an intra-picture coding type as a moving object area among the plurality of neighboring blocks;
Syntax-based moving object region extraction method for a compressed image in consideration of a context, further comprising a.
청구항 6에 있어서,
상기 제 d 단계 이후에 수행되는,
상기 복수의 이동객체 영역에 대하여 인터폴레이션을 수행하여 이동객체 영역으로 둘러싸인 미리 설정된 갯수 이하의 비마킹 영상 블록을 이동객체 영역으로 추가 마킹하는 제 e 단계;
를 포함하여 구성되는 것을 특징으로 하는 컨텍스트를 고려한 압축영상에 대한 신택스 기반의 이동객체 영역 추출 방법.
The method according to claim 6,
Is performed after the d step,
An e step of additionally marking a predetermined number of non-marked image blocks surrounded by the moving object area as a moving object area by interpolating the plurality of moving object areas;
Syntax-based moving object region extraction method for compressed images considering a context, characterized in that it comprises a.
하드웨어와 결합되어 청구항 1 내지 5 중 어느 하나의 항에 따른 컨텍스트를 고려한 압축영상에 대한 신택스 기반의 이동객체 영역 추출 방법을 실행시키기 위하여 매체에 저장된 컴퓨터프로그램.A computer program stored in a medium to execute a syntax-based moving object region extraction method for a compressed image in consideration of the context according to any one of claims 1 to 5 in combination with hardware.
KR1020180147017A 2018-11-26 2018-11-26 syntax-based method of extracting region of moving object out of compressed video with context consideration KR102153093B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180147017A KR102153093B1 (en) 2018-11-26 2018-11-26 syntax-based method of extracting region of moving object out of compressed video with context consideration

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180147017A KR102153093B1 (en) 2018-11-26 2018-11-26 syntax-based method of extracting region of moving object out of compressed video with context consideration

Publications (2)

Publication Number Publication Date
KR20200061566A true KR20200061566A (en) 2020-06-03
KR102153093B1 KR102153093B1 (en) 2020-09-07

Family

ID=71087616

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180147017A KR102153093B1 (en) 2018-11-26 2018-11-26 syntax-based method of extracting region of moving object out of compressed video with context consideration

Country Status (1)

Country Link
KR (1) KR102153093B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000295600A (en) * 1999-04-08 2000-10-20 Toshiba Corp Monitor system
JP2002262296A (en) * 2001-02-28 2002-09-13 Mitsubishi Electric Corp Mobile object detector, and image supervisory system
JP2006012013A (en) * 2004-06-29 2006-01-12 Seiwa Electric Mfg Co Ltd Mobile object tracking device
JP2016046580A (en) * 2014-08-20 2016-04-04 キヤノン株式会社 Imaging device and control method therefor

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000295600A (en) * 1999-04-08 2000-10-20 Toshiba Corp Monitor system
JP2002262296A (en) * 2001-02-28 2002-09-13 Mitsubishi Electric Corp Mobile object detector, and image supervisory system
JP2006012013A (en) * 2004-06-29 2006-01-12 Seiwa Electric Mfg Co Ltd Mobile object tracking device
JP2016046580A (en) * 2014-08-20 2016-04-04 キヤノン株式会社 Imaging device and control method therefor

Also Published As

Publication number Publication date
KR102153093B1 (en) 2020-09-07

Similar Documents

Publication Publication Date Title
KR102090785B1 (en) syntax-based method of providing inter-operative processing with video analysis system of compressed video
KR101949676B1 (en) syntax-based method of providing intrusion detection in compressed video
US9756348B2 (en) Method, device and system for producing a merged digital video sequence
AU2005272046B2 (en) Method and apparatus for detecting motion in MPEG video streams
US20120275524A1 (en) Systems and methods for processing shadows in compressed video images
KR102187376B1 (en) syntax-based method of providing selective video surveillance by use of deep-learning image analysis
EP2770740B1 (en) Method and apparatus for detecting motion in compressed video
KR102090775B1 (en) method of providing extraction of moving object area out of compressed video based on syntax of the compressed video
KR102177494B1 (en) method of identifying abnormal-motion objects in compressed video by use of trajectory and pattern of motion vectors
KR102042397B1 (en) syntax-based method of producing heat-map for compressed video
KR102015082B1 (en) syntax-based method of providing object tracking in compressed video
KR102179077B1 (en) syntax-based method of providing object classification in compressed video by use of neural network which is learned by cooperation with an external commercial classifier
KR102015084B1 (en) syntax-based method of detecting fence-climbing objects in compressed video
KR102061915B1 (en) syntax-based method of providing object classification for compressed video
KR102015078B1 (en) syntax-based method of detecting loitering objects in compressed video
KR102090782B1 (en) syntax-based method of detecting fence-climbing objects in compressed video
KR102153093B1 (en) syntax-based method of extracting region of moving object out of compressed video with context consideration
KR102178952B1 (en) method of providing object classification for compressed video by use of syntax-based MRPN-CNN
KR102343029B1 (en) method of processing compressed video by use of branching by motion vector
KR102585167B1 (en) syntax-based method of analyzing RE-ID in compressed video
KR102123678B1 (en) method of providing video forgery identification for compressed video by use of blockchain of motion vectors
KR102594803B1 (en) syntax-based method of searching RE-ID in compressed video
KR200491642Y1 (en) transcoder device for PoE cameras by use of syntax-based object Region-Of-Interest compression
KR102110502B1 (en) transcoder device for PoE cameras by use of syntax-based object Region-Of-Interest compression
KR102264252B1 (en) Method for detecting moving objects in compressed image and video surveillance system thereof

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant