KR101358664B1 - A method for detecting shot bounddary using brightness comparation between asymmetrical correspondence regions - Google Patents
A method for detecting shot bounddary using brightness comparation between asymmetrical correspondence regions Download PDFInfo
- Publication number
- KR101358664B1 KR101358664B1 KR1020120128808A KR20120128808A KR101358664B1 KR 101358664 B1 KR101358664 B1 KR 101358664B1 KR 1020120128808 A KR1020120128808 A KR 1020120128808A KR 20120128808 A KR20120128808 A KR 20120128808A KR 101358664 B1 KR101358664 B1 KR 101358664B1
- Authority
- KR
- South Korea
- Prior art keywords
- small region
- brightness
- histogram
- shot
- subregion
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/142—Detection of scene cut or scene change
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명의 비디오 영상 내에서의 샷 전환을 탐지하는 방법에 관한 기술로서, 더욱 상세하게는 두 프레임 간에 발생할 수 있는 객체의 이동을 고려하여 연속하는 두 프레임 간의 대응 비교 영역을 비대칭적으로 설정하고, 비대칭적으로 설정된 대응 영역에 대한 밝기 비교를 통해 샷 전환을 보다 정확하게 탐지할 수 있도록 하는 기술에 관한 것이다.
As a technique of a method for detecting a shot change in a video image of the present invention, in detail, a corresponding comparison area between two consecutive frames is asymmetrically set in consideration of movement of an object that may occur between two frames, The present invention relates to a technique for detecting shot transitions more accurately by comparing brightness of asymmetrically set corresponding areas.
디지털 기술 발전은 비디오 데이터의 빠른 생성과 더불어 컴퓨팅 자원의 활용을 증가시켰으며, 비디오 데이터의 효율적인 관리를 위한 저장, 검색, 분류 등 연관 서비스가 요구되는 실정이다. 비디오는 한 개 이상의 카메라를 사용하여 찍은 장면(frame)을 연속적으로 편집하여 구성이 되고, 비디오에서 하나의 카메라에 의해 찍힌 연속적인 장면을 샷(shot), 연속적으로 연결되어 있는 두 샷 사이의 전환되는 부분을 컷(cut)이라고 한다. 하나의 샷은 장면을 찍은 카메라의 파라메터(동작, 확대, 축소, 초점)와 공간 및 시간적 연속성에 의해 비디오의 내용(content)면에서 일관성을 가지는 최소의 단위가 된다. 샷 전환 탐지(shot boundary detection)는 대용량 비디오 데이터의 색인(indexing), 검색(browsing), 그리고 사건 탐지 등의 서비스를 효율적으로 제공하기 위한 기반이 된다. The development of digital technology has increased the use of computing resources along with the rapid generation of video data, and related services such as storage, retrieval, and classification are required for efficient management of video data. A video is composed by continuously editing frames taken using one or more cameras, and shots of a series of scenes taken by one camera in a video, and switching between two consecutively connected shots. The part to be cut is called a cut. One shot is the smallest unit of consistency in the content of the video due to the camera's parameters (motion, magnification, reduction, focus) and spatial and temporal continuity. Shot boundary detection is the basis for efficiently providing services such as indexing, browsing, and event detection of large-capacity video data.
종래의 샷 전환 탐지 방법에는 프레임간의 화소 비교 방법, 히스토그램을 이용한 방법, 에지를 사용하는 방법 등이 있으며, 이들 방법은 두 연속 프레임(현재와 참조 프레임)의 전체 또는 일부분에서 추출한 특성 값의 차이가 미리 설정한 임계치(threshold) 이상이면 두 연속 프레임 사이에 샷 전환이 발생된 것으로 탐지한다.Conventional shot transition detection methods include a method of comparing pixels between frames, a method using a histogram, a method using an edge, and the like, and these methods are characterized by a difference in feature values extracted from all or part of two consecutive frames (current and reference frames). If the threshold is greater than or equal to a preset threshold, a shot transition between two consecutive frames is detected.
구체적인 일례로서, 전환 탐지를 위해 두 연속 프레임 사이에 서로 대응되는 화소간의 밝기 값의 차이를 구한 후, 하기 수학식 1과 같이, 프레임간의 평균 차이를 사용하는 기술이 알려져 있다.As a specific example, a technique of using a mean difference between frames after a difference in brightness values between pixels corresponding to each other between two consecutive frames for switching detection is known.
여기서 MAFD n (mean absolute frame differences)은 n번째 프레임과 n+1번째 프레임사이의 화소 밝기 값의 절대 차이의 평균 값을, M, N은 프레임의 수직 방향과 수평 방향의 총 화소 수를, f n (i, j)는 n번째 프레임에서의 (i, j) 번째 위치한 화소의 밝기 값을 나타낸다. Wherein MAFD n (mean absolute frame differences) is n to the average value of the absolute differences of the pixel gray level between the first frame and the (n + 1) th frame, the number M, N is the total pixels in the vertical direction and the horizontal direction of the frame, f n (i, j) represents the brightness value of the (i, j) -th pixel in the n- th frame.
여기서, 샷 탐지를 위해 두 연속 프레임에서 계산한 그레이-레벨 히스토그램(gray-level histogram)의 차이를 이용한 방식, 프레임의 화소값에서 구한 색도(Chromaticity) 히스토그램을 이용한 방식 및 두 연속 프레임에서 계산한 칼라 히스토그램을 이용한 방식 등이 있다.Here, the method using the difference of gray-level histogram calculated in two consecutive frames for the shot detection, the method using the chromatic histogram obtained from the pixel value of the frame, and the color calculated in two consecutive frames Histogram.
칼라 히스토그램을 이용한 방식은 다음 수학식 2를 이용할 수 있다.The method using the color histogram may use
여기서 CHD i (color histogram difference)은 i번째 프레임과 i+1번째 프레임사이의 컬러 히스토그램의 절대 차이이며, P i (r,g,b)는 W개의 화소를 가진 프레임의 color(r,g,b)의 개수이고, B는 화소가 표현할 수 있는 컬러의 수이다. The CHD i (color histogram difference) is i is the absolute difference in color histogram between the second frame and the (i + 1) th frame, P i (r, g, b) is the frame having the W pixel color (r, g, b), and B is the number of colors that the pixel can represent.
상기와 같은 화소의 밝기 값을 이용하여 샷 전환을 탐지하는 종래기술들은 1) 현재 프레임의 화소의 밝기 값과 참조 프레임에서 동일한 위치에 있는 화소의 밝기 값을 비교하거나. 2) 현재 프레임의 한 소영역의 밝기 값과 참조 프레임에서 대응하는 소영역, 또는 동작 정보를 고려한 대응 영역의 밝기 값과 비교하거나, 3) 현재 프레임의 전체 영역의 밝기 값과 참조 프레임의 전체 밝기 값을 비교하여 샷 전환을 탐지하는 방식을 취하고 있다.Conventional techniques for detecting shot transition using the brightness value of the pixel as described above 1) compare the brightness value of the pixel of the current frame and the brightness value of the pixel at the same position in the reference frame. 2) the brightness value of one subregion of the current frame and the corresponding subregion in the reference frame, or the brightness value of the corresponding region in consideration of motion information; or 3) the brightness value of the entire region of the current frame and the overall brightness of the reference frame. It takes a way to detect shot transitions by comparing the values.
그러나, 이러한 종래 기술들은 현재 프레임 또는 현재 프레임의 검사중인 소영역에 존재하는 객체가 움직임으로 말미암아 참조 프레임 또는 참조 프레임에서 대응하는 소영역을 벗어 났을 때, 샷 전환이 발생한 것으로 오 탐지를 하며, 프레임간의 밝기가 변화하는 플리커(flicker) 현상이 있는 경우에도 샷 전환이 발생한 것으로 오 탐지하는 문제점이 발생하고 있다. However, these conventional techniques incorrectly detect that a shot transition occurred when the object existing in the current frame or the small region under examination of the current frame leaves the corresponding small region in the reference frame or the reference frame due to the movement, and the frame is incorrectly detected. Even when there is a flicker phenomenon in which the brightness of the liver changes, there is a problem of incorrectly detecting that a shot transition has occurred.
이와 같이 두 연속 프레임 간의 대응 화소 또는 구역을 비교하는 화소 비교 방법과 히스토그램을 이용한 방법은 계산상의 간편함으로 인해 보편적으로 사용되나 객체의 이동이나 화소의 밝기 등의 변화에 취약하다.
As such, a pixel comparison method and a histogram method for comparing corresponding pixels or regions between two consecutive frames are commonly used due to the simplicity of calculation, but are vulnerable to changes in object movement or pixel brightness.
본 발명은 상기와 같은 종래의 문제점을 해결하기 위해 제안된 것으로서, 본 발명의 목적은 비대칭 영역 비교를 통해 연속한 두 프레임 간에 발생하는 객체의 이동에 따른 오 탐지를 방지할 수 있도록 하는 것이다.The present invention has been proposed to solve the above-mentioned conventional problems, and an object of the present invention is to prevent false detection due to movement of an object occurring between two consecutive frames through asymmetrical area comparison.
본 발명의 다른 목적은 프레임 간에 발생한 밝기 변화 현상에 취약한 종래 문제점을 해결하여 프레임 간의 밝기 변화에 보다 강인한 탐지 기술을 제공하는 것이다.
Another object of the present invention is to provide a detection technique that is more robust to the change in brightness between frames by solving the conventional problem that is vulnerable to the change in brightness occurring between frames.
상기와 같은 목적을 달성하기 위한 본 발명의 일 측면에 따르면, 비디오 영상의 연속하는 두 프레임 간의 샷 전환을 탐지하는 방법으로서, 현재 프레임의 제 1 소영역의 크기를 설정하는 단계, 상기 현재 프레임에 연속하는 참조 프레임에 대하여, 상기 제 1 소영역에 대응되는 위치에 상기 제 1 소영역보다 크기가 큰 제 2 소영역을 설정하는 단계 및 상기 제 1 소영역으로부터 구한 밝기 값과 상기 제 2 소영역으로부터 구한 밝기 값을 비교하여 샷 전환 여부를 결정하는 단계를 포함하는 것을 특징으로 하는 비대칭 대응 영역에 대한 밝기 비교를 통한 샷 전환 탐지방법이 제공된다.According to an aspect of the present invention for achieving the above object, a method for detecting a shot transition between two consecutive frames of a video image, the step of setting the size of the first small region of the current frame, to the current frame Setting a second small region having a size larger than the first small region at a position corresponding to the first small region with respect to successive reference frames, and a brightness value obtained from the first small region and the second small region; There is provided a shot change detection method by comparing brightness for an asymmetric corresponding area, comprising the step of determining whether to switch shots by comparing the brightness values obtained from the above.
여기서, 상기 제 2 소영역의 크기는 상기 제 1 소영역의 크기에서 두 프레임 간에 발생하는 객체의 최대 이동 가능거리를 더한 크기로 결정되는 것이 바람직하다.Here, the size of the second small region is preferably determined as the size of the first small region plus the maximum movable distance of the object generated between two frames.
그리고, 상기 제 1 소영역으로부터 구한 밝기 값과 상기 제 2 소영역으로부터 구한 밝기 값을 비교하여 샷 전환 여부를 결정하는 단계는 상기 제 1 소영역으로부터 얻어지는 화소 밝기 히스토그램이 상기 제 2 소영역으로부터 얻어지는 화소 밝기 히스토그램에 포함되는지 확인하고, 상기 제 1 소영역으로부터 얻어지는 히스토그램이 상기 제 2 소영역으로부터 얻어지는 히스토그램에 포함되는 소영역의 개수가 미리 설정된 임계치보다 큰 경우 연속한 두 프레임이 동일한 샷에 속하는 것으로 판단할 수 있다.The step of comparing the brightness value obtained from the first small region with the brightness value obtained from the second small region to determine whether to switch shots includes obtaining a pixel brightness histogram obtained from the first small region from the second small region. If the histogram obtained from the first subregion is larger than the preset threshold, the two consecutive frames belong to the same shot. You can judge.
또한, 상기 참조 프레임의 제 2 소영역으로부터 얻어지는 히스토그램에 그레이 레벨 팽창 연산을 적용하여 팽창 히스토그램을 생성하고, 상기 제 1 소영역의 히스토그램과 상기 팽창 히스토그램을 비교하여 샷 전환 여부가 결정되는 것이 보다 바람직하다.
In addition, it is more preferable to generate an expansion histogram by applying a gray level expansion operation to the histogram obtained from the second subregion of the reference frame, and compare the histogram and the expansion histogram of the first subregion to determine whether to switch shots. Do.
본 발명에 따르면, 비대칭 영역 간의 밝기 비교를 통해 샷 전환을 감지함으로써 현재 프레임과 참조 프레임 간에 존재하는 객체의 움직임이 존재하는 경우에도 정확하게 샷 전환 여부를 탐지할 수 있어 비디오 색인, 검색, 사건 탐지 등의 서비스를 보다 효율적으로 제공할 수 있는 효과가 있다.
According to the present invention, by detecting the shot transition by comparing the brightness between the asymmetric region, even if the movement of the object existing between the current frame and the reference frame can be detected accurately whether the shot transition, video index, search, event detection, etc. There is an effect that can provide a more efficiently service.
도 1은 현재 프레임과 참조 프레임 간의 비대칭 대응 영역 설정 관계를 도시한 개념도이다.
도 2는 현재 프레임의 제 1 소영역과 참조 프레임의 제 2 소영역의 크기 설정 원리를 설명하기 위한 것이다.
도 3은 실제 동영상 내에서 소영역의 예를 보여주는 사진이다.
도 4는 도 3에서 설정된 현재 프레임과 참조 프레임의 소영역의 밝기 히스토그램을 예시한 것이다.1 is a conceptual diagram illustrating an asymmetric correspondence region setting relationship between a current frame and a reference frame.
FIG. 2 illustrates the principle of setting the size of the first small region of the current frame and the second small region of the reference frame.
3 is a photograph showing an example of a small region in an actual video.
FIG. 4 illustrates a brightness histogram of small regions of a current frame and a reference frame set in FIG. 3.
이하에서는 첨부된 도면을 참조하여 본 발명의 바람직한 일 실시예를 상세하게 설명하기로 한다.
Hereinafter, a preferred embodiment of the present invention will be described in detail with reference to the accompanying drawings.
본 발명에 따른 샷 전환 탐지방법은 현재 프레임의 제 1 소영역의 크기를 설정하는 단계, 상기 현재 프레임에 연속하는 참조 프레임에 대하여, 상기 제 1 소영역에 대응되는 위치에 상기 제 1 소영역보다 크기가 큰 제 2 소영역을 설정하는 단계 및 상기 제 1 소영역으로부터 구한 밝기 값과 상기 제 2 소영역으로부터 구한 밝기 값을 비교하여 샷 전환 여부를 결정하는 단계로 이루어질 수 있으며, 도 1과 도 2에서는 현재 프레임 및 참조 프레임에서의 소영역 설정방법이 설명되고, 도 3과 도 4에서는 현재 프레임과 참조 프레임의 소영역으로부터 구한 밝기 값 비교를 통해 샷 전환을 탐지하는 방법이 설명될 것이다.
In the shot change detection method according to the present invention, the size of the first small region of the current frame is set, and a reference frame continuous to the current frame is located at a position corresponding to the first small region than the first small region. A second small region having a large size may be set, and a brightness value obtained from the first small region may be compared with a brightness value obtained from the second small region to determine whether to switch a shot. In FIG. 2, a method of setting a small region in the current frame and a reference frame will be described. In FIGS. 3 and 4, a method of detecting a shot change by comparing brightness values obtained from the small region of the current frame and the reference frame will be described.
도 1은 현재 프레임과 참조 프레임 간의 비대칭 대응 영역 설정 관계를 도시한 개념도이고, 도 2는 현재 프레임의 제 1 소영역과 참조 프레임의 제 2 소영역의 크기 설정 원리를 설명하기 위한 것이다.FIG. 1 is a conceptual diagram illustrating an asymmetric correspondence region setting relationship between a current frame and a reference frame, and FIG. 2 illustrates a principle of setting a size of a first small region of a current frame and a second small region of a reference frame.
도 1에는 객체의 이동을 고려한 영역 분할 방법이 도시되어 있다. 한 대의 카메라에 의해 촬영된 샷은 시간적으로 일정한 간격 차를 두고 획득된 여러 개의 비디오 프레임으로 구성이 되며, 이러한 시간적 차로 인해 현재 프레임과 참조 프레임 사이에 존재하는 객체의 움직임은 샷 전환 탐지에서 오 탐지의 한 원인이 된다. 현재 프레임과 참조 프레임은 도 1과 같이 각각 복수 개(도 1에서는 12개의 경우를 예시함)의 제 1 소영역(10) 및 제 2 소영역(20)으로 분할되고, 이때 두 연속 프레임 사이에서 발생하는 객체의 이동을 보상하기 위해 참조 프레임의 제 2 소영역(20)의 크기는 현재 프레임의 제 1 소영역(10)의 크기에 객체가 두 연속 프레임 사이에서 이동 가능한 거리(d)를 더한 크기로 결정이 된다.FIG. 1 illustrates a method of partitioning regions in consideration of movement of an object. Shots taken by one camera consist of several video frames acquired at regular intervals, and due to these temporal differences, the movement of an object existing between the current frame and the reference frame is incorrect in shot transition detection. Is one cause. As shown in FIG. 1, the current frame and the reference frame are divided into a plurality of
따라서, 현재 프레임의 모서리 부분에 위치하는 소영역에 대응되는 참조 프레임내의 소영역의 설정이 가능하도록 현재 프레임은 내측으로 거리 d만큼 미설정 영역(30)을 확보하고, 미설정 영역을 제외한 중심 영역을 복수 개의 소영역으로 분할설정하게 된다. Therefore, the current frame secures the
현재 프레임의 제 1 소영역(10)의 크기는 수학식 3와 같다.The size of the first
여기서 Bw, Bh는 제 1 소영역(10)의 가로 및 세로 크기, fw, fh는 프레임의 가로 및 세로 크기, d는 두 연속 프레임 사이에서 객체가 이동할 수 있는 거리이다. Here, B w and B h are the horizontal and vertical sizes of the first
참조 프레임의 제 2 소영역(20)의 크기는 (Bw+2d) ㅧ (Bh+2d)이며, 참조 프레임의 제 2 소영역(20)의 중심점은 현재 프레임의 제 1 소영역(10)의 중심점과 일치한다.The size of the second
이와 같이, 제 2 소영역(20)의 크기를 제 1 소영역(10)의 크기에 프레임간 객체 최대 이동거리를 더한 크기로 설정하는 것에 의해, 연속한 프레임 간에 객체의 이동이 발생하는 경우에도 객체의 이동성분이 모두 제 2 소영역(20)에 포함될 수 있도록 함으로써 객체 이동에 따른 샷 전환 오검출을 방지할 수 있게 된다.
As described above, even when the movement of the object occurs between successive frames by setting the size of the second
도 3은 실제 동영상 내에서 소영역의 예를 보여주는 사진이고, 도 4는 도 3에서 설정된 현재 프레임과 참조 프레임의 소영역의 밝기 히스토그램을 예시한 것이다.3 is a photograph showing an example of a small region in an actual video, and FIG. 4 illustrates a brightness histogram of small regions of a current frame and a reference frame set in FIG. 3.
도 3에서 (a)는 현재 프레임의 제 1 소영역 설정을, (b)에는 제 1 소영역에 대응되는 위치에 제 1 소영역보다 큰 사이즈의 제 2 소영역이 비대칭적으로 설정된 것을 도시하고 있다.In FIG. 3, (a) shows the setting of the first small region of the current frame, and (b) shows that the second small region having a size larger than the first small region is asymmetrically set at a position corresponding to the first small region. have.
한편, 도 4의 (a)는 도 3의 현재 프레임의 제 1 소영역의 밝기 히스토그램을 나타내고, (b)는 참조 프레임의 제 2 소영역의 밝기 히스토그램을 나타내고 있다. 4A illustrates a brightness histogram of the first small region of the current frame of FIG. 3, and FIG. 4B illustrates a brightness histogram of the second small region of the reference frame.
도 4에서 참조 프레임의 제 2 소영역(20)으로부터 얻은 히스토그램 (d)가 현재 프레임의 제 1 소영역(10)으로부터 얻은 히스토그램 (c)보다 더 많은 정보를 포함하고 있다. 참조 프레임의 제 2 소영역(20)으로부터 얻은 히스토그램은 현재 프레임의 제 1 소영역(10)으로부터 얻은 히스토그램이 포함하고 있는 정보와 함께 연속적인 두 프레임 사이의 객체의 움직임 정보를 가지고 있다. 그러므로 만약 연속적인 두 프레임이 같은 샷에 속한다면, 현재 프레임의 제 1 소영역(10)으로부터 얻은 히스토그램은 참조 프레임의 제 2소영역(20)으로부터 얻은 히스토그램에 포함되어야 하며, 이를 수학식으로 나타내면 다음과 같다.In FIG. 4, the histogram (d) obtained from the second
여기서, BP,J는 p번째 프레임의 j번째 제 1 소영역이고, BP+1,j는 (p+1)번째 프레임의 j번째 제 2 소영역이다.Here, B P, J is the j-th small region of the p-th frame, and B P + 1 , j is the j-th small region of the (p + 1) th frame.
현재 프레임의 j번째 제 1 소영역 히스토그램과 참조 프레임의 j번째 제 2 소영역 히스토그램의 비교는 수학식 5와 같다.A comparison between the j-th small region histogram of the current frame and the j-th second small region histogram of the reference frame is expressed by
여기서 n는 히스토그램의 빈의 수이고, Hj,r(k)와 Hj,c(k)는 참조 프레임과 현재 프레임의 j번째 소영역에서 밝기의 값이 k인 화소의 개수를 나타낸다.Where n is the number of bins in the histogram, and H j, r (k) and H j, c (k) represent the number of pixels whose brightness is k in the jth small region of the reference frame and the current frame.
Bj의 값이 설정한 임계치(t1)보다 크면 비교하는 참조 프레임의 제 2 소영역이 현재 프레임의 제 1 소영역의 모든 정보를 포함하고 있다고 간주한다 (수학식 6).If the value of B j is larger than the set threshold t1, it is assumed that the second subregion of the reference frame to be compared includes all the information of the first subregion of the current frame (Equation 6).
마지막으로 현재 프레임의 제 1 소영역의 모든 정보를 포함하고 있는 참조 프레임의 제 2 소영역이 개수가 설정한 임계치(t2)보다 크면 연속한 두 프레임은 동일한 샷에, 아니면 샷 전환이 발생한 것으로 한다.Finally, if the second subregion of the reference frame that contains all the information of the first subregion of the current frame is larger than the threshold t 2 set by the number, two consecutive frames are in the same shot or a shot transition has occurred. do.
여기서, n은 각 프레임의 분할된 소영역의 개수이고, di는 현재 프레임의 소 영역의 모든 정보를 포함하는 참조 프레임의 수이다.
Here, n is the number of divided small regions of each frame, and d i is the number of reference frames including all the information of the small region of the current frame.
한편, 상술한 바와 같이 화소 비교 방법이나 히스토그램을 이용한 방법은 화소의 밝기 변화에 취약한 문제점이 있다. 본 발명에서는 이를 해결하기 위해 참조 프레임의 제 2 소영역의 히스토그램에 모폴러지의 그레이-레벨 팽창 연산을 적용하여 샷 탐지를 위한 프레임간 히스토그램 비교 시에 밝기 변화에 취약한 점을 해결한다. On the other hand, as described above, the pixel comparison method or the method using the histogram has a problem in that the change in the brightness of the pixel is vulnerable. In order to solve this problem, the present invention solves the problem of weakness in brightness change when comparing interframe histograms for shot detection by applying a grey-level expansion operation of morphology to the histogram of the second subregion of the reference frame.
여기서, Hr(j)는 제 2 소영역의 히스토그램의 j 번째 빈(bin)을, S는 모폴러지 연산을 위한 1차원의 모폴러지 마스크를, x는 마스크의 크기를 나타낸다.Here, H r (j) represents the j th bin of the histogram of the second small region, S represents a one-dimensional morphology mask for morphology calculation, and x represents the size of the mask.
만약 구성 요소 S가 7이고, 히스토그램의 j 번째 빈에 있으면, Hr(j)는 Hr(j-3), Hr(j-2), Hr(j-1), Hr(j), Hr(j+1), Hr(j+2), Hr(j+3) 중에서 최대치 값을 취한다. If component S is 7 and is in the j th bin of the histogram, Hr (j) is Hr (j-3), Hr (j-2), Hr (j-1), Hr (j), Hr (j The maximum value is taken from +1), Hr (j + 2) and Hr (j + 3).
도 4의 (d)에 나타난 히스토그램에 그레이-레벨 팽창 연산을 적용하면, 도 4의 (e)와 같이 (d)을 히스토그램이 좌우로 팽창된 형태의 팽창 히스토그램을 얻을 수 있다.When the gray-level expansion operation is applied to the histogram shown in FIG. 4 (d), the expanded histogram of the form in which the histogram is expanded left and right as shown in FIG. 4 (e) can be obtained.
(e)의 팽창 히스토그램은 현재 프레임의 제 1 소영역(10)으로부터 얻은 히스토그램이 포함하고 있는 정보와 함께 연속적인 두 프레임 사이의 객체의 움직임 정보 외에 밝기 변화를 보상한 정보까지 가지고 있으므로 정확한 샷 전환 탐지가 가능하게 된다.
The expanded histogram of (e) has the information included in the histogram obtained from the
본 발명에서 제안한 샷 전환 탐지방법의 성능을 평가하기 위하여 국가기록원이 소장하고 있는 디지털화 영화 필름에서 다음의 6개 디지털화 영화 필름(칼라 영화 필름 4개, 흑백 영화 필름 2개)을 사용하였다. 테스트에 사용된 영화는 1960년대부터 1970년대 사이에 촬영된 것으로 ‘텔레시네’장치를 사용하여 아날로그 필름의 영화를 디지털화 (720 x 480 크기의 MPEG2 포맷 영상) 한 것으로 오직 급진적인 샷 전환만을 포함하고 있다. 사용된 디지털화 영화 필름의 프레임 수, 샷 전환 수는 표 1과 같다. In order to evaluate the performance of the shot transition detection method proposed in the present invention, the following six digitized motion picture films (four color motion picture films and two black and white motion picture films) were used in the digitized motion picture film. The film used in the test was shot between the 1960s and 1970s, using a 'telecine' device to digitize an analog film's movie (720 x 480 MPEG2 format video), containing only radical shot transitions. . The number of frames and shot transitions of the digitized motion picture film used is shown in Table 1.
디지털화된 칼라 비디오는 먼저 흑백 비디오로 변환이 되었고, 인접한 두 프레임의 비교에는 그레이-레벨 히스토그램이 사용되었다. 연속적인 두 프레임의 사이에서 발생할 수 있는 객체의 이동거리는 20화소를, 그리고 허용할 수 있는 밝기의 변화를 보상하기 위해 길이가 10인 1차원의 모폴러지 마스크를 사용했다. Digitized color video was first converted to black and white video, and gray-level histograms were used to compare two adjacent frames. The moving distance of the object between two consecutive frames is 20 pixels, and a one-dimensional morphology mask of
제안한 샷 탐지 알고리즘의 성능을 평가하는 기준으로는 재현율(Recall)과 정확도(Precision)을 사용한다. The criteria for evaluating the performance of the proposed shot detection algorithm are recall and precision.
여기서 재현율은 탐지샷수/(탐지샷수 + 미탐지샷수)로 나타낼 수 있고, 정확도는 탐지샷수/(탐지샷수 + 오탐지샷수)로 나타낼 수 있다.Here, the reproducibility may be expressed as the number of detected shots / (detected shots + number of undetected shots), and the accuracy may be expressed as the number of detected shots / (detected shots + number of false shots).
상기 실험 결과, 영화나 뉴스와 같은 비디오 데이터의 경우, 연속적인 프레임사이에서의 객체의 이동 거리가 실험에 의해 정해진 임계치 범위 내에 있었으며, 샷 전환 탐지 결과가 우수한 것으로 나타났다.
As a result of the experiment, in case of video data such as a movie or news, the moving distance of the object between successive frames was within the threshold range determined by the experiment, and the shot transition detection result was excellent.
비록 본 발명이 상기 언급된 바람직한 실시예와 관련하여 설명되어졌지만, 발명의 요지와 범위로부터 벗어남이 없이 다양한 수정이나 변형을 하는 것이 가능하다. 따라서 첨부된 특허청구의 범위는 본 발명의 요지에서 속하는 이러한 수정이나 변형을 포함할 것이다.
Although the present invention has been described in connection with the above-mentioned preferred embodiments, it is possible to make various modifications and variations without departing from the spirit and scope of the invention. Accordingly, the appended claims are intended to cover such modifications or changes as fall within the scope of the invention.
10 : 제 1 소영역
20 : 제 2 소영역
30 : 미설정 영역10: first small area
20: second small area
30: unset area
Claims (5)
현재 프레임의 제 1 소영역의 크기를 설정하는 단계;
상기 현재 프레임에 연속하는 참조 프레임에 대하여, 상기 제 1 소영역에 대응되는 위치에 상기 제 1 소영역보다 크기가 큰 제 2 소영역을 설정하는 단계;
상기 제 1 소영역으로부터 구한 밝기 값과 상기 제 2 소영역으로부터 구한 밝기 값을 비교하여 샷 전환 여부를 결정하는 단계를 포함하는 것을 특징으로 하는 비대칭 대응 영역에 대한 밝기 비교를 통한 샷 전환 탐지방법.
A method for detecting shot transitions between two consecutive frames of a video image,
Setting a size of a first small region of the current frame;
Setting a second subregion larger in size than the first subregion at a position corresponding to the first subregion with respect to the reference frame subsequent to the current frame;
And determining whether to switch shots by comparing the brightness value obtained from the first small region with the brightness value obtained from the second small region.
상기 제 2 소영역의 크기는 상기 제 1 소영역의 크기에서 두 프레임 간에 발생하는 객체의 최대 이동 가능거리를 더한 크기로 결정되는 것을 특징으로 하는 비대칭 대응 영역에 대한 밝기 비교를 통한 샷 전환 탐지방법.
The method of claim 1,
The size of the second small region is determined as the size of the first small region plus the maximum movable distance of the object generated between the two frames, the shot switching detection method by comparing the brightness of the asymmetric corresponding region, characterized in that .
상기 제 1 소영역으로부터 구한 밝기 값과 상기 제 2 소영역으로부터 구한 밝기 값을 비교하여 샷 전환 여부를 결정하는 단계는
상기 제 1 소영역으로부터 얻어지는 화소 밝기 히스토그램이 상기 제 2 소영역으로부터 얻어지는 화소 밝기 히스토그램에 포함되는지 확인하고, 상기 제 1 소영역으로부터 얻어지는 히스토그램이 상기 제 2 소영역으로부터 얻어지는 히스토그램에 포함되는 소영역의 개수가 미리 설정된 임계치보다 큰 경우 연속한 두 프레임이 동일한 샷에 속하는 것으로 판단하는 것을 특징으로 하는 비대칭 대응 영역에 대한 밝기 비교를 통한 샷 전환 탐지방법.
The method of claim 1,
The step of determining whether to switch the shot by comparing the brightness value obtained from the first subregion and the brightness value obtained from the second subregion
Verify that the pixel brightness histogram obtained from the first small region is included in the pixel brightness histogram obtained from the second small region, and that the histogram obtained from the first small region is included in the histogram obtained from the second small region. When the number is greater than the predetermined threshold value, the method of detecting a shot change by comparing the brightness of the asymmetric corresponding region, characterized in that it is determined that two consecutive frames belong to the same shot.
상기 참조 프레임의 제 2 소영역으로부터 얻어지는 히스토그램에 그레이 레벨 팽창 연산을 적용하여 팽창 히스토그램을 생성하고, 상기 제 1 소영역의 히스토그램과 상기 팽창 히스토그램을 비교하여 샷 전환 여부가 결정되는 것을 특징으로 하는 비대칭 대응 영역에 대한 밝기 비교를 통한 샷 전환 탐지방법.
The method of claim 3, wherein
An asymmetry characterized by generating an expansion histogram by applying a gray level expansion operation to the histogram obtained from the second subregion of the reference frame, and comparing the histogram of the first subregion with the expansion histogram to determine whether to switch shots Shot transition detection method by comparing the brightness of the corresponding area.
상기 그레이 레벨 팽창 연산은 하기의 수학식에 의해 이루어지는 것을 특징으로 하는 비대칭 대응 영역에 대한 밝기 비교를 통한 샷 전환 탐지방법.
여기서, Hr(j)는 제 2 소영역의 히스토그램의 j 번째 빈(bin)을, S는 모폴러지 연산을 위한 1차원의 모폴러지 마스크를, x는 마스크의 크기를 나타냄
5. The method of claim 4,
The gray level expansion operation is a shot conversion detection method by comparing the brightness of the asymmetric corresponding region, characterized in that by the following equation.
Where Hr (j) is the j th bin of the histogram of the second subregion, S is the one-dimensional morphology mask for morphology calculation, and x is the size of the mask.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120128808A KR101358664B1 (en) | 2012-11-14 | 2012-11-14 | A method for detecting shot bounddary using brightness comparation between asymmetrical correspondence regions |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120128808A KR101358664B1 (en) | 2012-11-14 | 2012-11-14 | A method for detecting shot bounddary using brightness comparation between asymmetrical correspondence regions |
Publications (1)
Publication Number | Publication Date |
---|---|
KR101358664B1 true KR101358664B1 (en) | 2014-03-19 |
Family
ID=50647032
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020120128808A KR101358664B1 (en) | 2012-11-14 | 2012-11-14 | A method for detecting shot bounddary using brightness comparation between asymmetrical correspondence regions |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101358664B1 (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100650665B1 (en) | 2005-10-28 | 2006-11-29 | 엘지전자 주식회사 | A method for filtering video data |
KR20070105194A (en) * | 2006-04-25 | 2007-10-30 | 삼성전자주식회사 | Device for detecting gradual shot conversion in moving picture and method for operating the device |
WO2008143167A1 (en) | 2007-05-21 | 2008-11-27 | Mitsubishi Electric Corporation | Image difference detection method and apparatus, scene change detection method and apparatus, as well as image difference value detection method and apparatus |
KR20100109640A (en) * | 2009-04-01 | 2010-10-11 | 엔에이치엔(주) | Method and system for detecting duplicate moving picture files |
-
2012
- 2012-11-14 KR KR1020120128808A patent/KR101358664B1/en active IP Right Grant
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100650665B1 (en) | 2005-10-28 | 2006-11-29 | 엘지전자 주식회사 | A method for filtering video data |
KR20070105194A (en) * | 2006-04-25 | 2007-10-30 | 삼성전자주식회사 | Device for detecting gradual shot conversion in moving picture and method for operating the device |
WO2008143167A1 (en) | 2007-05-21 | 2008-11-27 | Mitsubishi Electric Corporation | Image difference detection method and apparatus, scene change detection method and apparatus, as well as image difference value detection method and apparatus |
KR20100109640A (en) * | 2009-04-01 | 2010-10-11 | 엔에이치엔(주) | Method and system for detecting duplicate moving picture files |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9619897B2 (en) | Correction of blotches in component images | |
Karaman et al. | Comparison of static background segmentation methods | |
US8947600B2 (en) | Methods, systems, and computer-readable media for detecting scene changes in a video | |
US20160205291A1 (en) | System and Method for Minimizing Motion Artifacts During the Fusion of an Image Bracket Based On Preview Frame Analysis | |
US20160269615A1 (en) | Systems and methods for continuous auto focus (caf) | |
US8488004B2 (en) | System and method for identifying discrepancy of image of object | |
US10943090B2 (en) | Method for face searching in images | |
CN110210379A (en) | A kind of lens boundary detection method of combination critical movements feature and color characteristic | |
Sakpal et al. | Adaptive background subtraction in images | |
US7643088B2 (en) | Artifact reduction in a digital video | |
Denman et al. | Adaptive optical flow for person tracking | |
KR101729536B1 (en) | Apparatus and Method of Detecting Moving Object in Image | |
KR101358664B1 (en) | A method for detecting shot bounddary using brightness comparation between asymmetrical correspondence regions | |
US20120099767A1 (en) | Method and apparatus for temporally-consistent disparity estimation using detection of texture and motion | |
CN103841312B (en) | Object detecting apparatus and method | |
Zhao et al. | BUPT at TRECVID 2007: Shot Boundary Detection. | |
Amudha et al. | Video shot detection using saliency measure | |
Koprinska et al. | Video segmentation of MPEG compressed data | |
Xiaona et al. | An improved approach of scene change detection in archived films | |
JP2003346160A (en) | Device and method for detecting mobile object | |
KR101382371B1 (en) | Method for motion estimation and image processing apparatus using the same | |
KR20160024767A (en) | Method for shot boundary detection, and image processing apparatus and method implementing the same method | |
KR101905128B1 (en) | Motion area detecion control method based on irregularity of light and apparatus thereof | |
Seidl et al. | A study of gradual transition detection in historic film material | |
HOSONO et al. | Depth Edge Based Objectness Metric for Generating Instance Candidate Regions |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |