KR100286742B1 - Method of detecting scene change and article from compressed news video image - Google Patents
Method of detecting scene change and article from compressed news video image Download PDFInfo
- Publication number
- KR100286742B1 KR100286742B1 KR1019990009208A KR19990009208A KR100286742B1 KR 100286742 B1 KR100286742 B1 KR 100286742B1 KR 1019990009208 A KR1019990009208 A KR 1019990009208A KR 19990009208 A KR19990009208 A KR 19990009208A KR 100286742 B1 KR100286742 B1 KR 100286742B1
- Authority
- KR
- South Korea
- Prior art keywords
- frame
- sub
- frames
- scene change
- detecting
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
본 발명은 압축된 스포츠 뉴스 비디오의 색인을 효율적으로 하기 위한 방법에 관한 것으로서, 특히 압축 도메인에서 장면전환과 뉴스 기사를 검출하는 방법에 관한 것이다.The present invention relates to a method for efficiently indexing compressed sports news videos, and more particularly to a method for detecting scene transitions and news articles in a compressed domain.
이러한 본 발명은, n번째 I-프레임과 n+1번째 I-프레임 사이의 밝기차(△Y)와 색차 상관도(ρn)를 의사 신경망에 적용하여 장면전환 가능성을 검출하는 제1단계와, 장면전환 가능성이 검출된 n번째 지오피(GOP:Group of Picture)에 포함되는 모든 P-프레임에서, 인트라 매크로블록의 개수를 순방향예측 매크로블록의 개수로 나누어서 장면전환 검출에 필요한 P-프레임 상수(Rp)를 구하는 제2단계, 장면전환 가능성이 검출된 n번째 지오피에 포함되는 모든 B-프레임에서, 역방향예측 매크로블록의 개수를 순방향예측 매크로블록의 개수로 나누어서 장면전환 검출에 필요한 B-프레임 상수(Rb)를 구하는 제3단계, 상기 P-프레임 상수와 B-프레임 상수를 이용하여 상기 장면전환 가능성이 검출된 지오피 내의 정확한 장면전환 프레임을 검출하는 제4단계, 및 상기 제4단계에서 정확한 장면전환 프레임이 검출되지 않으면 특수편집효과 검출 알고리즘에 적용하여 카메라의 특수조작 프레임을 검출하는 제5단계를 포함한 것을 특징으로 하는 압축된 뉴스 영상의 장면전환 검출방법을 제공한다.The present invention provides a first step of detecting a scene transition possibility by applying a brightness difference ΔY and a color difference correlation ρ n between an nth I-frame and an n + 1th I-frame to a pseudo neural network. In all P-frames included in the nth GOP (Group of Picture) in which the possibility of transition is detected, the number of intra macroblocks is divided by the number of forward prediction macroblocks to determine the P-frame constant ( In the second step of obtaining R p ), in all the B-frames included in the n-th geophysics for which the scene change possibility is detected, the number of backward predicted macroblocks is divided by the number of forward predicted macroblocks to determine the B-frames necessary for the scene change detection. the constant (R b) to obtain the fourth step of detecting a correct scene change frame in the step 3, using the constant frame P- and B- frames constant the scene change is detected jiohpi possibility, and the fourth step Standing applied to the scene change frame accurate editing special effect detection algorithm is not detected, and provides a transition of the compressed video news detecting method, characterized in that, including a fifth step of detecting a specific operation of the camera frame.
Description
본 발명은 압축된 스포츠 뉴스 비디오의 색인을 효율적으로 하기 위한 방법에 관한 것으로서, 특히 압축 도메인에서 장면전환과 뉴스 기사를 검출하는 방법에 관한 것이다.The present invention relates to a method for efficiently indexing compressed sports news videos, and more particularly to a method for detecting scene transitions and news articles in a compressed domain.
최근 디지털 비디오의 사용이 급격히 증가함에 따라 비디오 색인에 의한 다양한 기능을 제공할 수 있는 멀티미디어 서비스 시스템의 개발이 이루어지고 있다. 이러한 멀티미디어 서비스를 위하여 필요한 기술 중의 하나는, 여러 가지 장면전환(컷, 디졸브, 와이프)을 검출할 수 있는 알고리즘이다. 여기서, 컷(Cut)은 갑작스럽게 장면이 바뀌는 경우를 말하고, 디졸브와 와이프는 장면전환 지점 사이에 특수편집효과를 삽입하여 점진적으로 장면이 전환되는 경우를 말한다.Recently, with the rapid increase in the use of digital video, the development of a multimedia service system capable of providing various functions by video indexing has been made. One of the technologies required for such a multimedia service is an algorithm capable of detecting various scene changes (cut, dissolve, wipe). Here, cut refers to a case where a scene changes abruptly, and dissolve and wipe refer to a case where a scene is gradually changed by inserting a special editing effect between scene change points.
한편, 디지털 비디오는 아주 많은 저장 공간을 필요로 하기 때문에 저장과 전송을 위해서는 이들 비디오 데이터의 압축은 필수적이다. 이러한 압축 표준으로는 MPEG-1, MPEG-2 또는 모션 JPEG 등이 보편화되어 있으며, 오늘날에는 MPEG-4의 객체 지향 부호화의 표준이 완성 단계에 이르렀다.On the other hand, because digital video requires a lot of storage space, compression of these video data is essential for storage and transmission. As such compression standards, MPEG-1, MPEG-2, or Motion JPEG are widely used. Today, the object-oriented encoding standard of MPEG-4 has been completed.
이러한 MPEG이나 모션 JPEG 등으로 압축된 영상에서 장면전환을 검출하기 위해 사용되는 알고리즘은 크게 두 가지로 나눌 수 있는데, 한 가지 방법은 압축된 영상 데이터의 디코딩을 최소화하면서 장면전환을 검출하는 방법이고, 다른 한 가지 방법은 압축된 영상 데이터를 디코딩한 후에 장면전환을 검출하는 방법이다.Algorithms used to detect scene transitions in compressed video such as MPEG or Motion JPEG can be divided into two types. One method is to detect scene transitions while minimizing decoding of compressed image data. Another method is to detect the scene change after decoding the compressed image data.
후자의 방법은 정확한 장면전환 지점을 검출할 수는 있지만 움직임 보상이나 IDCT(Inverse Discrete Cosine Trasform) 등과 같은 디코딩 과정을 거치게 되므로 처리 속도가 느리다는 단점을 가진다. 한편, 전자의 방법은 장면전환 검출시 처리 속도가 향상되고 정확도 면에서도 점차 인정을 받고 있기 때문에 전자의 방법을 이용한 장면전환 검출방법이 세계적인 추세가 되고 있다.The latter method can detect the exact scene change point, but has a disadvantage of slow processing because it undergoes a decoding process such as motion compensation or Inverse Discrete Cosine Trasform (IDCT). On the other hand, the former method has been recognized in terms of accuracy and accuracy in the process of detecting the scene change, the scene change detection method using the former method has become a global trend.
이와 같이 압축 도메인에서 영상의 장면전환을 검출하는 종래의 방법은 다음과 같다. 첫 번째 방법은, Yasuyuki Nakajima, Kiyono Ujihara, Akio Yoneyama 등이 발표한 논문, 'Universal Scene Change Detection on MPEG-Coded Data Domain', SPIE Vol. 2419, 1996.에 공개되어 있다. 이 방법은, I-프레임에서 DCT DC 계수로 이루어진 DC 영상을 구하고, P-프레임과 B-프레임에서는 움직임 보상을 통하여 DC 영상을 구한 후, 재 구성되어진 DC 영상들을 서로 비교하여 장면전환을 검출하는 방법이다. 이 방법은 역 이산여현변환(IDCT) 과정을 거치지 않기 때문에 처리 속도가 향상되는 효과가 있다.As described above, a conventional method of detecting a scene change of an image in the compressed domain is as follows. The first method is a paper published by Yasuyuki Nakajima, Kiyono Ujihara, Akio Yoneyama, et al., 'Universal Scene Change Detection on MPEG-Coded Data Domain', SPIE Vol. 2419, 1996. This method obtains a DC image consisting of DCT DC coefficients in an I-frame, obtains a DC image through motion compensation in a P-frame and a B-frame, and then compares the reconstructed DC images to detect a scene change. It is a way. Since this method does not go through the inverse discrete cosine transform (IDCT) process, the processing speed is improved.
두 번째 방법은, Jianhao Meng, Yujen Juan, Shin-Fu Chang 등이 발표한 논문, 'Scene Change Detection in a MPEG Compressed Video Sequence', SPIE Vol. 3024, 1996.에 공개되어 있다. 이 방법은, P-프레임과 B-프레임의 매크로블록(MB:Macro Block)의 종류를 이용하는 방법으로 움직임 보상과 IDCT 과정을 거치지 않기 때문에 처리 시간을 훨씬 더 많이 단축할 수 있었다. 그러나, 이 방법은 지오피(GOP: Group of Picture)의 구조가 폐쇄형 GOP(Closed GOP)인 경우에는 I-프레임에서 장면전환을 검출하지 못할 뿐만 아니라 디졸브나 와이프와 같은 점진적인 장면전환은 검출해내지 못하는 단점이 있다.The second method is published in Jianhao Meng, Yujen Juan, Shin-Fu Chang et al., 'Scene Change Detection in a MPEG Compressed Video Sequence', SPIE Vol. 3024, 1996. This method uses macroblocks (MB) types of P-frames and B-frames, which can reduce processing time even more because they do not undergo motion compensation and IDCT processes. However, this method not only detects transitions in I-frames when the GOP structure is closed GOP but also detects progressive transitions such as dissolves and wipes. There is a disadvantage.
세 번째 방법은, 나인엽, 우석훈, 원치선, 한희일 등이 발표한 논문, 'MPEG-2 비트열에서 데이터 발생량 측정에 의한 장면전환 검출', 신호처리합동학술대회, Vol.10, pp.69-72, 1997.에 공개되어 있다. 이 방법은, I-프레임간의 에지(Edge) 개수의 변화량을 이용해서 장면전환 지점을 검출하는 방법으로 8×8 블록 사이의 DC 계수의 차분이 급격히 변화하면 블록 사이의 에지가 존재하는 것으로 가정하여 장면전환을 검출하는 방법이다.The third method is a paper presented by Na-Yeop Woo, Seok-Hoon Woo, Chi-Won Won, and Hee-Il Han, 'Detection of Scene Change by Measuring Data Generation in MPEG-2 Bitstream', Signal Processing Conference, Vol. 10, pp.69-72 , 1997. This method detects the scene change point by using the amount of change in the number of edges between I-frames and assumes that the edges between blocks exist when the difference of DC coefficients between 8x8 blocks changes rapidly. This is a method for detecting a scene change.
상기와 같이 MPEG 기반으로 압축되어진 영상 데이터에서 장면전환을 검출하는 알고리즘이 많이 개발되어 있지만, 종래의 알고리즘들은 스포츠 뉴스와 같이 빠른 움직임이 많은 영상과 조명 등의 변화가 많은 영상의 장면전환 지점을 정확하게 검출할 수 없는 문제점이 있었다.As described above, many algorithms for detecting a scene change in MPEG-based compressed image data have been developed. However, conventional algorithms accurately detect the scene change point of a fast-moving image such as sports news and a video having a lot of change in lighting. There was a problem that could not be detected.
따라서, 본 발명은 상기한 종래 기술의 문제점을 해결하기 위하여 안출된 것으로서, 스포츠 뉴스와 같이 비교적 빠른 움직임을 영상 내에 많이 가지고 있는 경우와 조명 등의 변화가 많은 스포츠 뉴스와 같은 비디오를 대상으로 효율적인 장면전환 검출방법을 제공하는 데 그 목적이 있다.Accordingly, the present invention has been made to solve the above problems of the prior art, an efficient scene for video such as sports news with a lot of relatively fast movements such as sports news and a lot of changes in lighting, etc. Its purpose is to provide a conversion detection method.
또한, MPEG으로 압축된 비디오를 디코딩하지 않고 압축된 비디오 스트림이 가지고 있는 정보만을 이용하여, 화면이 급작스럽게 변화하는 컷(cut) 및 점진적으로 변화하는 디졸브(dissove)나 와이프(wipe) 등과 같은 장면전환 지점을 검출하는 방법을 제공하는 데 다른 목적이 있다.Also, scenes such as cuts and progressively changing dissolves or wipes, such as a sudden change in the screen, using only the information contained in the compressed video stream without decoding the video compressed with MPEG. Another object is to provide a method for detecting a switch point.
또한, 압축 도메인에서 앵커 프레임을 검출하고, 앵커 프레임과 앵커 프레임 사이의 뉴스 기사를 검출하는 방법을 제공하는 데 또 다른 목적이 있다.Another object of the present invention is to provide a method for detecting an anchor frame in a compressed domain and detecting a news article between the anchor frame and the anchor frame.
도 1은 본 발명의 제1실시예에 따른 압축된 뉴스 영상의 장면전환 검출방법을 도시한 흐름도,1 is a flowchart illustrating a scene change detection method of a compressed news image according to a first embodiment of the present invention;
도 2는 본 발명의 제1실시예에 따라 I-프레임 사이의 장면전환 가능성 검출을 위한 의사 신경망의 구조도,2 is a structural diagram of a pseudo neural network for detecting a scene change possibility between I-frames according to the first embodiment of the present invention;
도 3은 본 발명을 설명하기 위하여 도시한 폐쇄형 지오피의 구조도,3 is a structural diagram of a closed geoppy shown to illustrate the present invention;
도 4는 본 발명을 설명하기 위하여 도시한 비폐쇄형 지오피의 구조도,4 is a structural diagram of a non-closed geopi shown to explain the present invention,
도 5는 카메라의 특수편집효과의 종류에 따라 시간과 P-프레임의 인트라 매크로블록의 개수와의 관계를 도시한 그래프도,FIG. 5 is a graph showing a relationship between time and the number of intra macroblocks of a P-frame according to a type of special editing effect of a camera;
도 6은 특수편집효과 삽입 가능 구간을 검출하기 위한 그래프도,6 is a graph for detecting a special editable effect insertion section;
도 7은 특수편집효과 중 와이프(wipe)를 검출하는 방법을 설명하기 위하여 도시한 도면,7 is a view illustrating a method of detecting a wipe among special editing effects;
도 8은 본 발명의 제2실시예를 설명하기 위하여 기사 검출에 사용되는 뉴스 아이콘이 없는 앵커 프레임과 뉴스 아이콘이 있는 앵커 프레임을 도시한 도면이다.FIG. 8 is a view illustrating an anchor frame without a news icon and an anchor frame with a news icon in order to explain a second embodiment of the present invention.
상기한 목적을 달성하기 위하여 본 발명의 제1실시예는, n번째 I-프레임과 n+1번째 I-프레임 사이의 밝기차(△Y)와 색차 상관도(ρn)를 의사 신경망에 적용하여 장면전환 가능성을 검출하는 제1단계와, 장면전환 가능성이 검출된 n번째 지오피(GOP:Group of Picture)에 포함되는 모든 P-프레임에서, 인트라 매크로블록의 개수를 순방향예측 매크로블록의 개수로 나누어서 장면전환 검출에 필요한 P-프레임 상수(Rp)를 구하는 제2단계, 장면전환 가능성이 검출된 n번째 지오피에 포함되는 모든 B-프레임에서, 역방향예측 매크로블록의 개수를 순방향예측 매크로블록의 개수로 나누어서 장면전환 검출에 필요한 B-프레임 상수(Rb)를 구하는 제3단계, 상기 P-프레임 상수와 B-프레임 상수를 이용하여 상기 장면전환 가능성이 검출된 지오피 내의 정확한 장면전환 프레임을 검출하는 제4단계, 및 상기 제4단계에서 정확한 장면전환 프레임이 검출되지 않으면 특수편집효과 검출 알고리즘에 적용하여 카메라의 특수조작 프레임을 검출하는 제5단계를 포함한 것을 특징으로 하는 압축된 뉴스 영상의 장면전환 검출방법을 제공한다.In order to achieve the above object, a first embodiment of the present invention applies a brightness difference ΔY and a color difference correlation ρ n between an nth I-frame and an n + 1th I-frame to a pseudo neural network. In the first step of detecting a scene change possibility, and in all P-frames included in the nth GOP (Group of Picture) in which the scene change possibility is detected, the number of intra macroblocks is determined as the number of forward predicted macroblocks. In the second step of dividing to obtain the P-frame constant (R p ) necessary for the scene change detection, in all B-frames included in the n-th geophysics where the scene change possibility is detected, the number of backward predicted macroblocks is determined by the number of forward predicted macroblocks. accurate scene change frame in a frame divided by the number of B- constant required for the scene change detection (R b) to obtain a first step, by using the constant frame P- and B- frames constant the transition potential is detected jiohpi A fourth step of detecting, and a fifth step of detecting a special manipulation frame of the camera by applying the special editing effect detection algorithm if the correct scene change frame is not detected in the fourth step. A scene change detection method is provided.
또한, 본 발명의 제2실시예는, 앵커가 나오는 영상(앵커 프레임) 사이에 개재된 TV 뉴스 기사의 시작 부분과 끝 부분을 검출하는 방법에 있어서, 앵커 프레임의 종류에 따라 앵커 얼굴이 나오는 위치에서 얼굴색이 임계값 이상이면 후보 앵커 프레임으로 설정하는 제1단계와, 상기 후보 앵커 프레임을 구성하는 DCT 블록들에 대해 DC 계수와 AC 계수들의 DCT 에너지 분포를 구하는 제2단계, 상기 후보 앵커 프레임을 얼굴 부분과 배경 부분으로 나누어 각 블록들의 DCT 에너지 분포에 대한 평균 및 분산을 각각 구하는 제3단계, 상기 후보 앵커 프레임의 DCT 에너지 분포에 대한 평균 및 분산을 앵커 프레임의 DCT 에너지 분포에 대한 평균 및 분산과 각각 비교하여, 상기 후보 앵커 프레임과 앵커 프레임의 유사도를 측정하는 제4단계, 상기 유사도에 따라 후보 앵커 프레임을 앵커 프레임으로 설정하는 제5단계, 상기 앵커 프레임 사이를 기사 영역으로 검출하는 제6단계를 포함한 것을 특징으로 하는 압축된 뉴스 영상의 기사 검출방법을 제공한다.In addition, the second embodiment of the present invention, in the method for detecting the beginning and end of the TV news article interposed between the image of the anchor (anchor frame), the position of the anchor face according to the type of the anchor frame In step 1, if the face color is greater than or equal to a threshold value, a first step of setting a candidate anchor frame, a second step of obtaining DCT energy distributions of DC coefficients and AC coefficients of DCT blocks constituting the candidate anchor frame, and the candidate anchor frame A third step of obtaining averages and variances of DCT energy distribution of each block by dividing into face and background parts, and averaging and variance of DCT energy distribution of the candidate anchor frame by average and variance of DCT energy distribution of anchor frame A fourth step of measuring similarity between the candidate anchor frame and the anchor frame by comparing with each other, and the candidate anchor according to the similarity Providing a fifth step, the article detection method of compressed video news, characterized in that, including a sixth step of detecting the anchor frames between the article area to set the frame as the anchor frame.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 설명하면 다음과 같다.Hereinafter, exemplary embodiments of the present invention will be described with reference to the accompanying drawings.
[제1실시예][First Embodiment]
도 1은 본 발명의 제1실시예에 따른 압축된 뉴스 영상의 장면전환 검출방법을 도시한 흐름도이다. 본 발명은 계층적인 컷 검출 알고리즘을 이용하여 압축된 뉴스 영상의 장면전환 지점을 검출한다.1 is a flowchart illustrating a scene change detection method of a compressed news image according to a first embodiment of the present invention. The present invention detects a scene change point of a compressed news image using a hierarchical cut detection algorithm.
일반적으로 MPEG(Moving Picture Experts Group)으로 압축된 비디오 시퀀스는 지오피(GOP:Group of Pictures) 구조로 이루어졌으며, 각 GOP는 반드시 하나의 인트라(I:Intra)-프래임을 포함한다. 하나의 GOP는 0.5초 분량의 15장의 프레임으로 이루어져 있으며, 여러 장의 P-프레임(순방향 예측 부호화 영상 프레임)과 B-프레임(쌍방향 예측 부호화 영상 프레임)을 포함한다. 따라서, 장면전환 탐색시에, 각 GOP의 I-프레임들만을 비교하여 이들 사이에 갑작스러운 장면전환이 있을 때에만 이들 사이의 P-프레임과 B-프레임에서 장면전환이 이루어지는 지를 탐색한다.In general, a video sequence compressed with Moving Picture Experts Group (MPEG) has a GOP (Group of Pictures) structure, and each GOP necessarily includes one intra-frame. One GOP is composed of 15 frames of 0.5 seconds and includes several P-frames (forward-predictive coded video frames) and B-frames (bi-predictive coded video frames). Therefore, in the scene change search, only the I-frames of each GOP are compared to see if the scene change is made in the P-frame and the B-frame therebetween only when there is a sudden scene change between them.
이와 같이 I-프레임간의 장면전환 검출과정은 다음과 같다.As such, the scene transition detection process between I-frames is as follows.
MPEG으로 압축된 비디오는 Y·Cb·Cr 칼라 좌표계를 사용한다. 여기서 Y는 밝기 성분을 나타내고 Cb·Cr은 색차 성분을 나타낸다. 화소의 밝기차(Y 성분의 차:△Y)는 물체의 큰 움직임이나 카메라의 특수 조작[예를 들어, 팬(fan)과 틸트(tilt)]에 의해서도 아주 큰 값을 가지게 된다. 따라서, 밝기차(△Y) 정보만을 이용하면 카메라의 특수 조작에 의해서도 장면전환으로 오인식하게 되는 경우가 발생한다.MPEG-compressed video uses the Y-Cb-Cr color coordinate system. Where Y represents a brightness component and Cb.Cr represents a color difference component. The difference in brightness of the pixels (difference of Y component: DELTA Y) is also very large due to the large movement of the object or the special operation of the camera (for example, fan and tilt). Therefore, when only the brightness difference (ΔY) information is used, there is a case where the camera is misidentified as a scene change even by special operation of the camera.
한편, Cb·Cr 성분에 의한 색차 상관도는 물체의 큰 움직임과 카메라의 동작에 비교적 둔감하기 때문에 화소의 밝기차와 색차 상관도를 함께 사용하면 장면전환 여부를 보다 정확하게 검출할 수 있다.On the other hand, since the color difference correlation due to the Cb · Cr component is relatively insensitive to the large movement of the object and the operation of the camera, it is possible to detect whether the scene change is more accurate when the brightness difference and the color difference correlation of the pixel are used together.
상기와 같은 원리를 이용하여 I-프레임 사이에서의 장면전환을 검출하는데, 먼저, MPEG으로 압축된 비디오 영상의 지오피(GOP)가 입력되면(S11), I-프레임의 DCT 계수를 이용하여 I-프레임의 DC영상을 구하고, 상기 I-프레임의 DC영상과 움직임 보상값을 이용하여 P-프레임과 B-프레임의 DC영상을 구한다(S12). 다음, I-프레임 사이의 DC영상의 밝기차와 색차 상관도를 계산한다(S13). 여기서, I-프레임간의 밝기차는 수학식 1과 같이 구하고, I-프레임간의 색차 상관도는 수학식 2와 같이 구한다.The above-described principle is used to detect a transition between I-frames. First, when a GOP of an MPEG compressed video image is input (S11), I-frames are used by using DCT coefficients of I-frames. The DC image of the frame is obtained, and the DC image of the P-frame and the B-frame is obtained using the DC image of the I-frame and the motion compensation value (S12). Next, the brightness difference and the color difference correlation of the DC image between the I-frames are calculated (S13). Here, the brightness difference between the I-frames is obtained as in Equation 1, and the color difference correlation between the I-frames is obtained as in Equation 2.
여기서, Yn은 현재 I-프레임에서의 Y성분의 DC 영상의 히스토그램, Yn-1은 이전 I-프레임에서의 Y성분의 DC 영상의 히스토그램이다.Here, Y n is a histogram of the DC component of the Y component in the current I-frame, Y n-1 is a histogram of the DC component of the Y component in the previous I-frame.
여기서, Hn은 현재 I-프레임에서의 Cb, Cr 성분의 히스토그램, Hn-1은 이전 I-프레임에서의 Cb, Cr 성분의 히스토그램이다.Where H n is the histogram of the Cb and Cr components in the current I-frame, and H n-1 is the histogram of the Cb and Cr components in the previous I-frame.
상기와 같이 I-프레임 사이의 밝기차(△Y)와 색차 상관도(ρn)가 구해지면, 이를 의사 신경망에 적용하여(S14) 장면전환 여부를 검출한다(S15). 즉, 스포츠 뉴스와 같이 빠른 움직임이 많거나 카메라 조작[상하(좌우) 이동, 영상의 확대/축소]이 많은 경우에는 장면전환을 위한 임계값 설정에 많은 어려움이 따르게 된다. 이러한 문제를 해결하기 위하여 의사 신경망을 이용한다. 이 의사 신경망은 I-프레임간의 밝기차(△Y)와 색차 상관도(ρn)를 입력받아서 장면전환 유무를 판별하여 출력한다.When the brightness difference ΔY and the color difference correlation ρ n between the I-frames are obtained as described above, it is applied to the pseudo neural network (S14) to detect whether the scene is changed (S15). That is, when there are many fast movements such as sports news or camera manipulations (up / down, left / right movement, zooming in / out of the image), it is difficult to set a threshold value for scene change. To solve this problem, we use pseudo-neural networks. The pseudo-neural network receives the brightness difference ΔY and the color difference correlation ρ n between the I-frames and determines whether or not there is a scene change.
이러한 의사 신경망이 도 2에 도시되어 있는 바, 2개의 입력 계층(input layer)(21)은 각각 I-프레임간의 밝기차(△Y)와 색차 상관도(ρn)를 입력받으며, 이는 히든 계층(hidden layer)(22)을 거쳐 2개의 출력 계층(output layer)(23)를 통해 2개의 출력값이 출력된다. 이 값에 따라 장면전환 유무를 판단하게 된다. 이와 같이 신경망을 이용하면 훈련 데이터를 이용하여 임계값을 결정할 수 있을 뿐만 아니라 임계평면을 비선형적으로 설정함으로써 장면전환 검출시 오인식을 방지할 수 있다.This pseudo neural network is shown in FIG. 2, and the two input layers 21 receive the brightness difference ΔY and the color difference correlation ρ n between the I-frames, respectively, which are hidden layers. Two output values are output through two output layers 23 via a hidden layer 22. Based on this value, it is determined whether or not there is a transition. By using the neural network as described above, not only the threshold value can be determined using the training data, but also the threshold plane is set non-linearly to prevent misrecognition of the scene change detection.
상기와 같은 과정을 통해 임의의 두 지오피(GOP) 사이에서 장면전환 가능성이 검출되면(S15) 다음 단계로 진행하여 장면전환 지점을 검출하고(S16), 두 지오피(GOP) 사이에서 장면전환 가능성이 검출되지 않으면 다음 지오피를 검사한다.When the scene change possibility is detected between the two GOPs through the above process (S15), the process proceeds to the next step to detect the scene change point (S16), and the possibility of the scene change between the two GOPs. If not detected, check the next geopi.
두 개의 지오피에 포함된 I-프레임 사이에서 장면전환 가능성이 검출되면, 장면전환 지점은 하나의 지오피로 한정되는데, 해당되는 지오피 내에서 장면전환 프레임을 찾는 방법은 지오피의 구조에 따라 두 가지가 있다. 즉, 지오피의 구조는 지오피 내의 영상이 다른 지오피로부터 독립 재생이 가능한 지의 여부에 따라서 폐쇄형 지오피와 비폐쇄형 지오피로 구분된다. 지오피 구조에 따른 장면전환 검출 알고리즘은 후술하기로 한다.When the possibility of a transition is detected between I-frames included in two geopis, the transition point is limited to one geopi. There are two ways to find the transition frame within the geopi, depending on the geopi's structure. . That is, the geophysical structure is divided into closed and non-closed geophysics according to whether or not the images in the geophysics can be independently reproduced from other geophysics. The scene change detection algorithm according to the geophysical structure will be described later.
정확한 장면전환 지점을 검출하기 위하여 검출된 지오피를 구성하는 P-프레임과 B-프레임의 P-프레임 상수와 B-프레임 상수를 각각 구하는데, 그 과정을 살펴보면 다음과 같다.In order to detect an accurate scene change point, P-frame constants and B-frame constants of P-frames and B-frames constituting the detected geometries are obtained, respectively.
I-프레임은 영상 전체가 인트라 매크로블록(MBintra)으로 인코딩되어 있기 때문에 참조 영상 없이도 자체적으로 디코딩될 수 있지만, P-프레임과 B-프레임에서의 매크로블록은 움직임 벡터를 이용하여 인코딩되어 있기 때문에 해당 매크로블록의 종류에 따라서 과거나 미래의 참조 영상이 있어야만 디코딩이 될 수 있다.I-frames can be decoded by themselves without reference pictures because the entire picture is encoded as intra macroblocks (MB intra ), but macroblocks in P- and B-frames are encoded using motion vectors. Depending on the type of the macroblock, there may be decoding only if there is a past or future reference picture.
장면전환 프레임이나 영상내에 움직임이 많은 경우에는 과거의 영상으로부터 참조할 부분이 없어지기 때문에, P-프레임에서의 인트라 매크로블록(MBintra)의 개수는 증가하면서 순방향예측 매크로블록(MBforward)의 개수는 감소한다. 또한, B-프레임에서의 순방향예측 매크로블록(MBforward)의 개수는 감소하면서 역방향에측 매크로블록(MBbackward)의 개수는 증가한다. 이와 같은 원리를 이용하여 장면전환 프레임을 검출한다.If there is a lot of motion in the scene change frame or image, there is no part to refer to from the past image, so the number of intra macroblocks (MB intra ) in the P-frame increases and the number of forward predicted macroblocks (MB forward ) is increased. Decreases. In addition, the number of forward macroblocks (MB forward ) in the B-frame is reduced while the number of macroblocks (MB backward ) in the reverse direction increases. Scene change frame is detected using the same principle.
장면전환 가능성이 검출된 지오피(GOP) 내의 I-프레임을 제외한 다른 모든 프레임에서 장면전환의 유무는 장면전환 검출 알고리즘에 의해 검출되는데, 수학식 3을 이용하여 P-프레임 상수(Rp)와 B-프레임 상수(Rb)를 구한다.Presence or absence of a scene change in every other frame is the scene change possibility excluding I- frames within the detected jiohpi (GOP) is there is detected by the scene change detection algorithm, using the equation (3) and a P- frame, the constant (R p) B Find the frame constant (R b ).
장면전환이 있거나 움직임이 많은 경우에 P-프레임 상수(Rp) 값은 커지고, B-프레임 상수(Rb) 값은 아주 큰 값을 가지기 때문에 이를 이용하여 장면전환 유무를 판단한다.If there is a scene change or there is a lot of motion, the value of the P-frame constant (R p ) increases and the value of the B-frame constant (R b ) has a very large value.
위에서, 지오피의 구조는 폐쇄형과 비폐쇄형 두가지가 있으며, 지오피의 구조에 따라 별도의 장면전환 검출 알고리즘이 필요하다는 사실을 언급하였는 바, 이에 대한 설명하면 다음과 같다.In the above, there are two types of geophysical structures, closed and non-closed, and it is mentioned that a separate scene change detection algorithm is required according to the geophysical structure.
먼저, 폐쇄형 지오피의 경우 장면전환 프레임을 검출하는 알고리즘을 도 3을 참조하여 설명한다.First, an algorithm for detecting a scene change frame in the case of a closed geoppy will be described with reference to FIG. 3.
MPEG으로 압축된 비디오 데이터에서 장면전환 지점을 검출할 때에 유의해야 할 점은 프레임들이 화면에 출력되어지는 순서와 인코딩된 순서가 서로 다르다는 것이다. 폐쇄형 지오피 구조를 가지고 P-프레임 사이에 2개의 B-프레임이 들어있는 지오피가 도 3에 도시되어 있다.Note that when detecting scene change points in MPEG-compressed video data, the order in which the frames are output on the screen and the encoding order are different. A geop with a closed geop structure with two B-frames between the P-frames is shown in FIG. 3.
폐쇄형 지오피 구조에서 장면전환 프레임 검출 알고리즘은 다음과 같다.In the closed geophysical structure, the scene change frame detection algorithm is as follows.
먼저, 지오피 내의 I-프레임을 제외한 도면의 ①, ②, ③구간에서 장면전환 유무를 검사한다. ①구간에서 N번째 P-프레임 상수(Rp_n)가 임계값(T1)보다 크면 ①구간에서의 장면전환 가능성이 있는 것으로 판정하되, 시간상으로 앞선 B-프레임에서 장면전환이 있을 수 있기 때문에 B-프레임에서의 장면전환 여부를 판정한다.First, the presence or absence of a scene change is checked in sections ①, ②, and ③ of the drawing except for the I-frame in the geofi. ① If the Nth P-frame constant (R p_n ) is larger than the threshold value (T 1 ) in the section, ① It is determined that there is a possibility of scene change in the section, but because there may be a scene change in the B-frame preceding in time, -It is determined whether or not the scene transition in the frame.
즉, N+1번째 B-프레임 상수(Rb_n+1)가 임계값(T2)보다 크면, N+1번째 B-프레임에서 장면전환이 있는 것으로 판정한다. 그러나, N+1번째 B-프레임 상수(Rb_n+1)가 임계값(T2)보다 크지 않고, N+2번째 B-프레임 상수(Rb_n+2)가 임계값(T2)보다 크면 N+2번째 B-프레임에서 장면전환이 있는 것으로 판정한다. N+1번째 B-프레임 상수(Rb_n+1)와 N+2번째 B-프레임 상수(Rb_n+2)가 모두 임계값(T2)보다 크지 않으면, N번째 P-프레임에서 장면전환이 있는 것으로 판정한다. 물론, ①구간에서 N번째 P-프레임 상수(Rp_n)가 임계값(T1)보다 크지 않으면 ①구간에서 장면전환이 없는 것으로 판정하고, 다음 구간에서의 장면전환 여부를 판정한다.That is, if the N + 1th B-frame constant R b_n + 1 is greater than the threshold value T 2 , it is determined that there is a scene change in the N + 1th B-frame. However, if the N + 1 th B-frame constant R b_n + 1 is not greater than the threshold T 2 , and the N + 2 th B-frame constant R b_n + 2 is greater than the threshold T 2 . It is determined that there is a scene change in the N + 2th B-frame. If neither the N + 1th B-frame constant (R b_n + 1 ) nor the N + 2th B-frame constant (R b_n + 2 ) is greater than the threshold (T 2 ), then the transition in the Nth P-frame It is determined that there is. Of course, if the Nth P-frame constant R p_n is not larger than the threshold value T 1 in the section ( 1 ), it is determined that there is no scene change in the section ( 1 ), and it is determined whether the scene is changed in the next section.
상기와 같은 과정을 통해서 모든 구간(①, ②, ③)에서 장면전환 프레임이 검출되지 않으면 마지막으로 다음 지오피의 I-프레임 즉, N+9번째 I-프레임에서 장면전환이 발생하였는 지를 검사한다. 즉, 현재 지오피의 모든 P-프레임에서의 인트라 매크로블록(MBintra)의 개수가 임계값 이하이면 N+9번째 I-프레임에서 장면전환이 일어난 것으로 판정한다. 이와 같은 과정을 통해 정확한 장면전환 프레임이 검출되면(S17), 해당되는 장면전환 프레임을 저장함으로써(S18), 컷(Cut) 장면을 검출한다. 그러나, 모든 P-프레임에서의 인트라 매크로블록의 개수가 임계값 이하가 아니면 특수편집효과 검출 알고리즘에 적용하여 카메라의 특수조작 프레임을 검출한다(S19).If the scene change frame is not detected in all sections (①, ②, ③) through the above process, it is finally checked whether the scene change occurs in the I-frame of the next geop, that is, the N + 9th I-frame. That is, if the number of intra macroblocks MB intra in all P-frames of the current geopy is less than or equal to the threshold, it is determined that a scene change occurs in the N + 9th I-frames. When the correct scene change frame is detected through the above process (S17), the cut scene is detected by storing the corresponding scene change frame (S18). However, if the number of intra macroblocks in all the P-frames is not less than or equal to the threshold value, the special manipulation frame of the camera is detected by applying to the special editing effect detection algorithm (S19).
다음, 비폐쇄형 지오피 구조에서 장면전환 프레임을 검출하는 알고리즘을 도 4를 참조하여 설명하면 다음과 같다.Next, an algorithm for detecting a scene change frame in the non-closed geophysical structure will be described with reference to FIG. 4.
지오피 구조가 비폐쇄형 지오피의 경우, I-프레임 사이의 장면전환 가능성 여부를 먼저 판정한 후 가능성이 있는 지오피 내의 P-프레임과 B-프레임에서의 장면전환 여부를 검출한다. 비폐쇄형 지오피의 경우 I-프레임 바로 뒤에 오는 B-프레임들은 시간적으로 I-프레임보다 과거의 영상이다. 따라서, 장면전환 가능성이 있는 비폐쇄형 지오피에서 정확한 장면전환 프레임을 찾으려면 P-프레임과 B-프레임들로 이루어진 ②구간과 ③구간을 먼저 검사하고, 장면전환 프레임이 검출되지 않으면 다음 지오피의 ④구간을 검사한다. 여기서, 현재 지오피의 N-1번째 I-프레임 뒤에 오는 B-프레임(①구간)은 시간적으로 N-1번째 I-프레임보다 과거 영상이기 때문에 검사할 필요가 없다.In the case where the geophysical structure is non-closed geophysical, it is first determined whether or not the scene transition between the I-frames is possible, and then whether the scene transition in the P-frame and the B-frame in the potential geop is detected. In the case of non-closed geo-fiber, the B-frames immediately following the I-frame are past images in time rather than the I-frame. Therefore, in order to find the correct transition frame in the non-closed geocode with the possibility of transition, the section ② and ③ composed of P-frames and B-frames are first examined, and if the transition frame is not detected, the ④ of the next geo-fi Examine the section. Here, the B-frame (section 1) following the N-1th I-frame of the current geophy need not be examined because it is a past image in time than the N-1th I-frame.
②구간과 ③구간에서의 장면전환 프레임 검출 알고리즘은 폐쇄형 지오피의 경우와 동일하다. ②구간 또는 ③구간에서 장면전환 프레임이 검출되면 다음 지오피에서의 장면전환 여부를 검출한다. 하지만 ②구간과 ③구간에서 장면전환 프레임이 검출되지 않으면 지오피 내에 있는 모든 P-프레임들의 인트라 매크로블록(MBintra)의 개수가 모두 설정된 임계값 이하인 지를 검사하고, 설정된 임계값 이하이면 ④구간을 검사한다.The scene change frame detection algorithm in section 2 and section 3 is the same as that of closed geopi. When a scene change frame is detected in section (2) or section (3), it detects whether the scene is changed in the next geo. However, if the transition frame is not detected in sections ② and ③, it checks whether the number of intra macroblocks (MB intra ) of all the P-frames in the geo is less than or equal to the set threshold value. do.
그러나, 지오피 내에 있는 P-프레임들의 인트라 매크로블록(MBintra)의 개수가 모두 설정된 임계값 이하가 아니면, 특수편집효과 검출 알고리즘을 이용하여 특수편집효과 삽입 유무를 판단한다.However, if the number of intra macroblocks (MB intra ) of the P-frames in the geop is less than or equal to the set threshold value, the special editing effect detection algorithm is used to determine whether the special editing effect is inserted.
④구간에서의 장면전환 프레임을 찾는 알고리즘은 다음과 같다.(4) The algorithm to find the transition frame in the section is as follows.
먼저, N+9번째 B-프레임의 프레임 상수(Rb_n+9)가 임계값(T1)보다 크면 N+9번째 B-프레임을 장면전환 프레임으로 검출한다. N+9번째 B-프레임의 프레임 상수(Rb_n+9)가 임계값(T1)보다 크지 않고 N+10번째 B-프레임의 프레임 상수(Rb_n+10)가 임계값(T1)가 크면 N+10번째 B-프레임을 장면전환 프레임으로 검출한다. 그러나, N+9번째 B-프레임의 프레임 상수(Rb_n+9)와 N+10번째 B-프레임의 프레임 상수(Rb_n+10)가 모두 임계값(T1)보다 크지 않으면 N+8번째 I-프레임을 장면전환 프레임으로 검출한다.First, when the frame constant R b_n + 9 of the N + 9 th B-frame is greater than the threshold value T 1 , the N + 9 th B-frame is detected as the scene change frame. The frame constant (R b_n + 9 ) of the N + 9th B-frame is not greater than the threshold (T 1 ), and the frame constant (R b_n + 10 ) of the N + 10th B-frame is the threshold (T 1 ). If large, the N + 10th B-frame is detected as a scene change frame. However, if the N + 9-th frame of constant B- frame (R b_n + 9) and the frame N + constant of the 10th frame B- (R b_n + 10) are both greater than the threshold value (T 1) N + 8 beonjjae Detects an I-frame as a transition frame.
이상에서 언급한 장면전환 검출 알고리즘은 급진적인 장면전환(컷 장면)은 검출할 수 있으나, 점진적인 장면변화(디졸브, 와이프, 페이드 인/아웃 등)는 검출하지 못한다. 따라서, 이러한 특수편집효과가 삽입된 부분을 정확히 검출하기 위한 추가적인 알고리즘이 필요하며, 이를 특수편집효과 검출 알고리즘이라고 한다.The scene change detection algorithm described above can detect radical scene changes (cut scenes) but cannot detect progressive scene changes (dissolves, wipes, fade ins / outs, etc.). Therefore, an additional algorithm for accurately detecting the portion where the special editing effects are inserted is required, which is called a special editing effect detection algorithm.
카메라의 특수편집효과(디졸브, 와이프, 페이드 인/아웃 등)의 지속시간은 약 1초 정도이고, 2개의 지오피 내에서 P-프레임들의 인트라 매크로블록의 개수의 변화상태를 이용하면 특수편집효과를 검출할 수 있다. 도 5는 시간과 P-프레임의 인트라 매크로블록의 개수와의 관계를 도시한 그래프도이다. 디졸브(dissolve)가 진행함에 따라 P-프레임의 인트라 매크로블록의 개수는 (a)에 도시된 바와 같이 변화하고, 와이프(wipe)가 진행함에 따라 P-프레임의 인트라 매크로블록의 개수는 (b)에 도시된 바와 같이 변화한다.The duration of the special editing effects (dissolve, wipe, fade in / out, etc.) of the camera is about 1 second, and using the change state of the number of intra macroblocks of P-frames within two geometries, Can be detected. 5 is a graph illustrating a relationship between time and the number of intra macroblocks of a P-frame. As the dissolve proceeds, the number of intra macroblocks of the P-frame changes as shown in (a), and as the wipe progresses, the number of intra macroblocks of the P-frame is (b). Changes as shown in
디졸브와 와이프의 특징 곡선과의 비교는 특수편집효과가 나타나기 직전의 P-프레임의 시작 프레임(start frame)으로부터 특수편집효과가 끝난 직후의 P-프레임(end frame)까지의 인트라 매크로블록(MBintra)의 개수를 이용한다. 도 7에 도시된 바와 같이 특수편집효과 삽입 가능 구간 즉, 탐색영역 내에서 P-프레임의 인트라 매크로블록의 개수는 설정된 임계값보다 크고, 개수의 변화량의 기울기가 급격히 증가했다가 급격히 감소한다. 따라서, MPEG으로 압축된 비디오 데이터에서 P-프레임의 인트라 매크로블록의 개수가 도 6과 같이 나타나면 특수편집효과 삽입 가능 구간으로 설정한다. 그러나, P-프레임의 인트라 매크로블록의 개수가 도 5의 그래프와 같이 나타나지 않으면 이 부분에는 카메라의 오퍼레이션이나 상당히 큰 객체의 움직임이 있는 부분으로 장면전환 지점으로 인식하지 않고 다음 지오피를 검사한다.The comparison of the dissolve and wipe characteristic curves shows that the intra macroblock (MB intra ) from the start frame of the P-frame immediately before the special editing effect to the P-end frame immediately after the special editing is finished. ) Is used. As shown in FIG. 7, the number of intra macroblocks of the P-frame in the special editable effect insertion section, that is, the search region, is larger than the set threshold value, and the slope of the number of change increases rapidly and then decreases rapidly. Therefore, when the number of intra macroblocks of the P-frame in the MPEG-compressed video data is shown in FIG. However, if the number of intra macroblocks of the P-frame does not appear as shown in the graph of FIG. 5, the next geopee is examined without recognizing it as a transition point as a part of camera operation or a large object movement.
일단 특수편집효과 삽입 가능 구간이 설정되면, 이 특수편집효과가 일어나기 전의 영상으로부터 끝난 후의 영상들에 대한 DC 영상들을 구한다. 이렇게 구해진 DC 영상들로부터 이 특수편집효과가 디졸브(dissolve), 와이프(wipe)인 지를 판단하게 된다.Once the special editable insertable interval is set, DC images are obtained for the post-finished images from the image before the special edit effect occurs. From the DC images thus obtained, it is determined whether the special editing effect is a dissolve or a wipe.
이러한 판단은 디졸브와 와이프가 진행됨에 따라 영상이 변화하는 모습을 이용한다. 디졸브의 경우, 시간이 진행됨에 따라 영상의 전반적인 변화가 일어나게 되고 디졸브가 시작되어 나타나는 영상들은 점진적으로 디졸브가 끝난 후의 영상에 가까워 지게 된다. 반면에 와이프의 경우에는 변화가 일부분에서 시작하여 영상전체로 퍼져 나가게 된다.This judgment uses the image that changes as the dissolve and wipe proceed. In the case of dissolve, as the time progresses, the overall change of the image occurs, and the images appearing when the dissolve is started gradually become closer to the image after the dissolve is completed. In the case of wipes, on the other hand, the change starts from a part and spreads out to the whole image.
상기한 디졸브는 DC영상들 차이의 분산만을 이용하여 구할 수 있지만, 와이프는 카메라의 오퍼레이션(Panning, Tilting)에 의해 나타나는 영상들과 구분하기가 힘들기 때문에 도 7과 같이 영상을 부분적으로 레이블링하여 와이프를 검출한다.The dissolve can be obtained using only the variance of the difference between DC images, but since the wipe is difficult to distinguish from the images shown by the operation of the camera (Panning, Tilting), the wipe is performed by partially labeling the image as shown in FIG. Detect.
일반적으로 디졸브의 경우에는 디졸브된 후 변화되는 영상들을 서로 비교했을 때 변화가 영상 전체(①번∼⑤번 모두)에서 일어난다. 디졸브는 장면이 급작스럽게 바뀌는 것이 아니기 때문에 디졸브된 후 변화되는 영상들을 서로 비교했을 때 각 레이블링된 지역에서의 변화량이 설정된 임계값보다 작게 나타나는 바, 이런 현상이 나타나면 디졸브가 삽입된 부분으로 판단한다.In general, in the case of dissolve, when the images changed after dissolving are compared with each other, the change occurs in the whole image (both ① to ⑤). Since the dissolve is not a sudden change of the scene, when the images changed after dissolving are compared with each other, the amount of change in each labeled area is smaller than the set threshold value. When this phenomenon occurs, it is determined that the dissolve is inserted.
한편, 와이프의 경우에는 영상의 변화가 일부분(①번에서 ⑤번중 한 곳)에서 시작되어 영상 전체로 퍼져 나가기 때문에 와이프가 시작된 후 변화되는 영상들을 비교하면 와이프를 검출할수 있다. 즉, 와이프가 일어나기 전 영상과 와이프가 시작되어 나타나는 영상들을 서로 비교했을 때, 변화된 지역의 개수가 점차적으로 증가하면 와이프로 판단한다.On the other hand, in the case of a wipe, since the change of the image starts from a part (one of ① to ⑤) and spreads out to the whole image, the wipe can be detected by comparing the images changed after the wipe starts. That is, when the image before the wipe and the image where the wipe is started are compared with each other, if the number of changed regions gradually increases, it is determined as a wipe.
그러나, 특수편집효과 삽입 가능 구간을 검사한 결과, 디졸브나 와이프가 아닌 경우는 영상내에 카메라의 움직임(Tilting, Panning, Zoom in/out 등)이나 움직임이 많이 포함된 경우이다. 제안된 장면전환 검출 알고리즘에서는 이러한 부분을 장면전환으로 인식하지 않기 때문에 오인식을 감소시킬 수 있다.However, as a result of examining the insertable section of the special editing effect, if it is not a dissolve or a wipe, it is a case where a camera movement (tilting, panning, zoom in / out, etc.) or a lot of movement is included in the image. Since the proposed scene change detection algorithm does not recognize this part as a scene change, misrecognition can be reduced.
[제2실시예]Second Embodiment
본 발명의 제2실시예는 압축된 뉴스 영상의 기사 검출방법이다.A second embodiment of the present invention is a method for detecting articles in a compressed news image.
TV 뉴스는 여러 개의 기사(Article)로 구성되고 하나의 기사는 여러 개의 장면(Shot)으로 이루어진다. 따라서, TV 뉴스 색인을 위해서 가장 중요한 것은 기사의 시작 지점과 끝지점을 정확하게 검출해 내는 것이다. TV 뉴스의 특성상 기사는 앵커가 나오는 영상(앵커 프레임)에서부터 기사가 시작되어서 내용이 나오고 다시 앵커가 나오면 다른 기사가 시작된다. 이러한 특징을 이용하면 TV 뉴스를 이루고 있는 여러 개의 기사를 정확하게 검출해 낼 수 있다. 다시 말하면 앵커 프레임을 정확하게 찾으면 기사의 시작 지점과 끝 지점을 찾아낼 수가 있다.TV news consists of several articles, and one article consists of several shots. Therefore, the most important thing for the index of TV news is to accurately detect the start and end points of articles. Due to the nature of TV news, the article starts with the anchor (the anchor frame) and the content comes out, and when the anchor comes out again, another article begins. This feature can accurately detect the multiple articles that make up TV news. In other words, if you find the anchor frame correctly, you can find the beginning and end of the article.
TV 스포츠 뉴스에서는 앵커가 대부분 한 명만이 나오고 앵커의 위치가 고정되며, 앵커의 조그만 움직임을 제외하면 영상내에 움직임이 거의 없다. 이런 특징을 이용하여 앵커의 얼굴이 나오는 부분을 지정하고, 움직임 벡터값을 이용하여 앵커 프레임을 검출한다. 즉, 앵커 프레임에서 움직임 벡터값은 매우 작다.In TV sports news, only one anchor is present, the anchor is fixed, and there is little movement in the video except for the small movement of the anchor. This feature is used to designate the part where the face of the anchor appears, and to detect the anchor frame using the motion vector value. That is, the motion vector value is very small in the anchor frame.
앵커 프레임은 (a)에 도시된 바와 같이 뉴스 아이콘이 없는 경우와 (b)에 도시된 바와 같이 뉴스 아이콘이 있는 경우로 나눌 수 있으며, 뉴스 아이콘이 있는 경우의 앵커 얼굴의 위치와 뉴스 아이콘이 없는 경우의 앵커 얼굴의 위치는 서로 다르기 때문에 서로 다른 위치를 지정한다. 앵커 프레임의 검출은 I-프레임을 이용하고, 앵커 후보 프레임의 경우 I-프레임 다음에 오는 P-프레임의 움직임 벡터를 검사하여 움직임이 거의 없으면 최종적으로 앵커 프레임으로 결정한다.The anchor frame can be divided into a case where there is no news icon as shown in (a) and a case where there is a news icon as shown in (b), and the position of the anchor face and the news icon without a news icon are shown. Since the position of the anchor face in the case is different from each other, specify different positions. The detection of the anchor frame uses the I-frame, and in the case of the anchor candidate frame, the motion vector of the P-frame following the I-frame is examined and finally determined as the anchor frame if there is almost no motion.
이에 대한 상세한 과정을 살펴보면 다음과 같다.The detailed process for this is as follows.
도 8에 도시된 바와 같이 지정된 앵커 얼굴의 위치(1: 뉴스 아이콘이 없는 경우, 2: 뉴스 아이콘이 있는 경우)에서 얼굴색이 임계값 이상으로 나오면 일단 앵커 프레임일 가능이 있는 후보 앵커 프레임으로 설정한다. 그러나, 이때, 영상에 따라서 지정된 위치에 앵커가 아닌 다른 사람의 얼굴이 위치하게 되면 앵커 프레임으로 오인식하게 되는 경우가 생기게 된다. 이런 점을 보완하기 위해서 CCV(Color Coherent Vector)를 이용한다.As shown in FIG. 8, when the face color is greater than or equal to a threshold value at the position of the designated anchor face (1: when there is no news icon, 2: when there is a news icon), it is set as a candidate anchor frame that may be an anchor frame. . However, in this case, when the face of the person other than the anchor is positioned at the designated position according to the image, there is a case in which it is misidentified as the anchor frame. To compensate for this, CCV (Color Coherent Vector) is used.
즉, 앵커 프레임을 그 종류에 따라서 앵커의 얼굴이 있는 부분과 배경 부분으로 나누고, 각 부분에 포함된 8×8 블록들에서 수학식 4를 이용하여 DCT의 에너지 분포를 구한다.That is, the anchor frame is divided into the anchored part and the background part according to the type, and the energy distribution of the DCT is obtained by using Equation 4 in the 8 × 8 blocks included in each part.
먼저, 8×8 블록들에 대하여 DC 계수와 AC 계수들의 DCT 에너지 분포를 먼저 구하고, 얼굴 부분과 배경 부분에서 구한 각 블록들의 DCT 에너지 분포에 대하여 평균과 분산을 각각 구한 후 후보 앵커 프레임에서 앵커 프레임을 검출하는 텍스쳐로 사용한다.First, the DCT energy distributions of DC coefficients and AC coefficients are first obtained for 8 × 8 blocks, and the average and variances of DCT energy distributions of the blocks obtained from the face part and the background part are obtained, respectively. Used as a texture to detect.
즉, 후보 앵커 프레임에 대하여 DCT 블록의 DC 계수와 AC 계수들의 DCT 에너지 분포를 구하고 얼굴 부분과 배경 부분에서 구한 각 블록들의 DCT 에너지 분포에 대하여 평균 및 분산을 각각 구한 후, 텍스쳐로 이용되는 상기 앵커 프레임의 평균 및 분산과 비교하여 그 유사도를 측정한다. MPEG으로 압축된 비디오 데이터는 DCT 기반으로 압축되어져 있기 때문에 앵커 프레임과의 유사도를 측정하기 위해서 DCT 에너지 분포를 사용함으로써 역 DCT 과정을 거치지 않고서도 압축 영역에서 분별력이 뛰어난 특징벡터의 추출이 가능하다.That is, the DCT energy distributions of the DC coefficients and the AC coefficients of the DCT block are obtained with respect to the candidate anchor frame, and the average and the variance of the DCT energy distributions of the blocks obtained from the face part and the background part are respectively obtained, and then the anchor used as a texture. The similarity is measured by comparing the average and the variance of the frame. Since video data compressed by MPEG is compressed on the basis of DCT, the DCT energy distribution is used to measure the similarity with the anchor frame, so that the feature vector having excellent discrimination can be extracted from the compressed region without the inverse DCT process.
이와 같이 앵커 프레임이 검출되면 앵커 프레임 사이에 개재된 TV 뉴스 기사의 시작 지점과 끝 지점을 정확하게 검출해 낼 수 있다.As such, when the anchor frame is detected, the start point and the end point of the TV news article interposed between the anchor frames can be accurately detected.
특수편집효과(디졸브, 와이프 등)를 포함한 장면전환 검출 실험을 위해서 MPEG-2로 인코딩된 704×480 해상도를 가진 KBS 스포츠 뉴스를 대상으로 하였다. 여기서, 하나의 지오피(GOP)는 19개의 프레임으로 구성되어 있으며 지오피 구조가 폐쇄형 지오피인 비디오 데이터를 사용하였다. KBS 스포츠 뉴스를 대상으로 제안된 알고리즘을 통해서 얻은 기사 검출 결과는 표 1에 나타나있고, 장면전환 검출 결과는 표 2에 나타나 있다. 실험 결과를 보면 기사는 100% 정확하게 검출이 되었으며 컷 검출에 있어서도 97% 이상의 정확한 결과를 보였다. 특수편집효과 검출에 있어서는 조금 낮은 인식률(디졸브 75%, 와이프 77,5%)을 보였는데, 특수편집효과가 너무나 다양하기 때문에 제안된 특수 편집 효과 검출 알고리즘으로는 모든 편집 효과를 검출하지는 못했다.KBS Sports News with 704 × 480 resolution encoded in MPEG-2 was used for scene change detection experiments including special editing effects (dissolve, wipe, etc.). Here, one GOP is composed of 19 frames, and the video data of which the GOP structure is a closed GOP is used. The article detection results obtained through the proposed algorithm for KBS Sports News are shown in Table 1, and the scene change detection results are shown in Table 2. According to the experimental results, the article was 100% accurate and the detection result was more than 97% accurate. In detecting special editing effects, the recognition rate was slightly lower (75% dissolve, 77,5% wipe), but the special editing effect detection algorithm could not detect all the editing effects because the special editing effects were so diverse.
이상과 같이 본 발명에 따르면, 스포츠 뉴스와 같이 비교적 빠른 움직임을 많이 가지고 조명 등의 변화가 많은 비디오를 대상으로 효율적으로 장면전환 지점을 검출할 수 있으며, 압축된 비디오를 디코딩하지 않고 압축된 상태로 장면전환 지점을 검출할 수 있기 때문에 디코딩에 따른 시간을 절약하여 빠른 시간 내에 장면전환 지점을 정확하게 검출할 수 있는 효과가 있다.As described above, according to the present invention, a scene change point can be efficiently detected for a video having a lot of relatively fast movements such as sports news and a lot of changes in lighting, and so on without being decoded the compressed video. Since the scene change point can be detected, it is possible to save time according to decoding and accurately detect the scene change point in a short time.
또한, 압축 도메인에서 앵커 프레임을 검출하고, 앵커 프레임 사이에 개재된 뉴스 기사를 검출할 수 있기 때문에 압축된 뉴스 비디오의 색인이 가능해지고, 이로 인한 다양한 멀티미디어 서비스의 제공이 가능해지는 효과가 있다.In addition, since it is possible to detect anchor frames in the compression domain and to detect news articles interposed between the anchor frames, it is possible to index compressed news videos, thereby providing various multimedia services.
Claims (5)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1019990009208A KR100286742B1 (en) | 1999-03-18 | 1999-03-18 | Method of detecting scene change and article from compressed news video image |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1019990009208A KR100286742B1 (en) | 1999-03-18 | 1999-03-18 | Method of detecting scene change and article from compressed news video image |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20000060674A KR20000060674A (en) | 2000-10-16 |
KR100286742B1 true KR100286742B1 (en) | 2001-04-16 |
Family
ID=19576950
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1019990009208A KR100286742B1 (en) | 1999-03-18 | 1999-03-18 | Method of detecting scene change and article from compressed news video image |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100286742B1 (en) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100698106B1 (en) * | 2000-03-07 | 2007-03-26 | 엘지전자 주식회사 | A hierarchical hybrid shot change detection method for mpeg-compressed video |
KR100374040B1 (en) * | 2001-03-09 | 2003-03-03 | 엘지전자 주식회사 | Method for detecting caption synthetic key frame in video stream |
KR100411340B1 (en) * | 2001-03-09 | 2003-12-18 | 엘지전자 주식회사 | Video browsing system based on article of news video content |
KR100438269B1 (en) * | 2001-03-23 | 2004-07-02 | 엘지전자 주식회사 | Anchor shot detecting method of news video browsing system |
KR100707205B1 (en) * | 2005-09-22 | 2007-04-13 | 삼성전자주식회사 | Method and apparatus for detect play section in sports video |
KR101253131B1 (en) * | 2005-11-08 | 2013-04-12 | 엘지전자 주식회사 | Broadcasting Terminal and Method for Display Still Image Frame thereof |
RU2506640C2 (en) * | 2012-03-12 | 2014-02-10 | Государственное казенное образовательное учреждение высшего профессионального образования Академия Федеральной службы охраны Российской Федерации (Академия ФСО России) | Method of identifying insert frames in multimedia data stream |
-
1999
- 1999-03-18 KR KR1019990009208A patent/KR100286742B1/en not_active IP Right Cessation
Also Published As
Publication number | Publication date |
---|---|
KR20000060674A (en) | 2000-10-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Meng et al. | Scene change detection in an MPEG-compressed video sequence | |
KR100698106B1 (en) | A hierarchical hybrid shot change detection method for mpeg-compressed video | |
EP1021042B1 (en) | Methods of scene change detection and fade detection for indexing of video sequences | |
US6618507B1 (en) | Methods of feature extraction of video sequences | |
US6327390B1 (en) | Methods of scene fade detection for indexing of video sequences | |
JP3656036B2 (en) | Dissolve / fade detection method in MPEG compressed video environment | |
Faernando et al. | Scene change detection algorithms for content-based video indexing and retrieval | |
JP2000083257A (en) | Detection of change in scene in motion estimate device of video encoder | |
KR100286742B1 (en) | Method of detecting scene change and article from compressed news video image | |
Sugano et al. | A fast scene change detection on MPEG coding parameter domain | |
US20060109902A1 (en) | Compressed domain temporal segmentation of video sequences | |
Shin et al. | Hierarchical scene change detection in an MPEG-2 compressed video sequence | |
Cabedo et al. | Shot detection tools in digital video | |
Smeaton et al. | An evaluation of alternative techniques for automatic detection of shot boundaries in digital video | |
Gamaz et al. | Scene change detection in MPEG domain | |
US20070183673A1 (en) | Video processing method and corresponding encoding device | |
Fernando et al. | Sudden scene change detection in MPEG-2 video sequences | |
JP2003533906A (en) | Compressed video analysis | |
Dawood et al. | Clear scene cut detection directly from MPEG bit streams | |
JP3711022B2 (en) | Method and apparatus for recognizing specific object in moving image | |
Fernando et al. | Scene adaptive video encoding for MPEG and H. 263+ video | |
Primaux et al. | Shot Boundary Detection In The Framework of Rough Indexing Paradigm. | |
KR20020040503A (en) | Shot detecting method of video stream | |
Lee et al. | Scene change detection using adaptive threshold and sub-macroblock images in compressed seqeunces | |
Fernando | Sudden scene change detection in compressed video using interpolated macroblocks in B-frames |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20050118 Year of fee payment: 5 |
|
LAPS | Lapse due to unpaid annual fee |