KR100262344B1 - Detectiong method of dissolving gradual scene changes in video data analysis - Google Patents
Detectiong method of dissolving gradual scene changes in video data analysis Download PDFInfo
- Publication number
- KR100262344B1 KR100262344B1 KR1019980018424A KR19980018424A KR100262344B1 KR 100262344 B1 KR100262344 B1 KR 100262344B1 KR 1019980018424 A KR1019980018424 A KR 1019980018424A KR 19980018424 A KR19980018424 A KR 19980018424A KR 100262344 B1 KR100262344 B1 KR 100262344B1
- Authority
- KR
- South Korea
- Prior art keywords
- video
- dissolve
- scene
- partial
- image
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
Description
본 발명은 비디오 데이타 분석에서 비디오 데이타에 많이 사용되는 점진적 장면경계(gradual scene change)들 중 디졸브(이하 dissolve) 편집 효과를 검출하는 방법에 관한 것으로, 두번의 편미분을 통해 비디오 제작 시에 사용된 디졸브 효과를 매우 빠르게 자동적으로 검출하는 기술에 관한 것이며, 이는 디지탈 비디오 라이브러리 구현을 위한 기본 요소로 사용되는 기술이다.The present invention relates to a method for detecting dissolve editing effects among gradual scene changes that are frequently used for video data in video data analysis. The present invention relates to a dissolve used in video production through two partial derivatives. It's about technology that automatically detects effects very quickly, and it's the technology that's used as the basis for building a digital video library.
영상 기술의 발달로 인해 현재 기술 선진국들을 중심으로 유선 또는 무선망을 통하여 주문형 비디오(video-on-demand), 홈 쇼핑(home shopping), 원격 강의(remote learning) 등과 같은 영상 서비스의 제공을 위한 준비가 이루어지고 있다.Due to the development of video technology, the preparation for the provision of video services such as video-on-demand, home shopping, remote learning, etc. through wired or wireless networks, mainly in the developed countries of technology. Is being done.
이러한 서비스의 제공을 위해서는 먼저 영상 데이타베이스의 구축이 선행되어야 하고, 구축된 영상 데이타베이스에서 원하는 영상을 효율적으로 검색하기 위해서는 영상의 내용을 부분적으로 인덱싱(indexing)하는 메카니즘이 제공되어야 한다.In order to provide such a service, construction of an image database must be preceded first, and a mechanism for partially indexing the contents of an image must be provided to efficiently search for a desired image in the constructed image database.
그러나 영상 인덱싱은 수작업으로 할 경우 엄청난 시간과 노력이 필요하기 때문에 이를 자동화하려는 노력이 현재 국내외적으로 많은 대학, 연구소, 기업체 등에서 활발히 이루어지고 있다. 또한 이 분야의 기술만을 논하는 국제학술대회도 매년 열리고 있다.However, since video indexing requires a great deal of time and effort by hand, efforts to automate it are currently being actively conducted by many universities, research institutes, and corporations at home and abroad. In addition, international conferences are held every year, discussing only technology in this field.
자동적인 영상 인덱싱을 위해서는 디지탈 비디오내의 정확한 장면경계(scene change) 검출이 자동적으로 이루어지고, 검출된 장면 경계를 주축으로 영상을 인덱싱해야만 한다. 이러한 자동적인 영상 인덱싱은 대규모 영상 데이타베이스의 구축을 가능케하여, 멀티미디어 서비스의 수요와 효율을 높일 수 있는 요소로 작용한다.For automatic image indexing, accurate scene change detection in the digital video is made automatically and the image must be indexed around the detected scene boundary. This automatic video indexing enables the construction of a large-scale video database, which increases the demand and efficiency of multimedia services.
이와 같은 자동 장면 경계 검출 알고리즘은 현재까지 여러가지 방식으로 개발되고 있는데, 기존의 장면 경계 검출 알고리즘은 급진적 장면경계(abrupt scene change)에서는 비교적 높은 검출 효율을 보이고 있지만, 페이딩(fading)이나 디졸브와 같이 다양한 편집 효과를 사용한 점진적 장면경계(gradual scene change)에서는 검출 효율이 극히 저조한 실정이다.Such automatic scene boundary detection algorithms have been developed in various ways up to now, while the existing scene boundary detection algorithms show relatively high detection efficiency in an abrupt scene change, but can be used in various ways such as fading or dissolve. In gradual scene changes using editing effects, the detection efficiency is extremely low.
기존의 급진적 장면경게 검출 알고리즘 중에서도 비교적 좋은 효율을 보이던 'frame activity'에서의 'U-shape'를 검출하고자 했던 "Nakajima"의 알고리즘이나, 'delayed frame difference'에서 플래토(plateaus)를 검출하고자 했던 "Yeo"의 알고리즘 등은 검출된 장면경계의 구간이 임계치들의 값에 따라 좌우되었고, 또한 점진적 장면경계는 전혀 검출하지 못한 문제점이 있었다.Among the existing radical scene detection algorithms, the algorithm of "Nakajima", which tried to detect "U-shape" in "frame activity", which showed relatively good efficiency, or the plateaus, in "delayed frame difference" In the algorithm of "Yeo", the interval of the detected scene boundary depends on the values of the thresholds, and there is a problem that the progressive scene boundary is not detected at all.
또한, 종래 기술은 'edge change fractions', 이중 비교 접근법, 서로 떨어져 있는 프레임 간의 'difference metric'에서의 '플래토 검출', 'image variance'에서의 'valleys 검출', 비디오 편집 모델에 근거한 접근법 등을 고려해 왔는데, 이 기술들의 효율은 잘 조정되어야만 하는 어떠한 파라미터나 임계값의 선택에 만힝 좌우되며, 페이드-인(fade-ins), 페이드-아웃(fade-outs), 디졸브 등을 포함한 점진적 장면경계를 검출하지 못하는 문제점이 있었으며, 검출이 되더라도 장면경계의 구간을 분명하지 않게 판정하는 문제점이 있었다.In addition, the prior art includes 'edge change fractions', a double comparison approach, 'platelet detection' on 'difference metric' between distant frames, 'valleys detection' on 'image variance', an approach based on video editing model, etc. The efficiency of these techniques depends on the choice of any parameter or threshold that must be well tuned, and includes progressive scene boundaries including fade-ins, fade-outs, and dissolves. There was a problem that can not be detected, and even if detected, there was a problem of unclearly determine the section of the scene boundary.
참고로 상기에서 언급되는 페이드-인, 페이드-아웃, 디졸브에 대해 간략히 설명하면, 페이드-인은 화면이 몇 개의 프레임에 걸쳐 서서히 밝아지는 것을 의미하고, 페이드-아웃은 그 반대로 화면이 서서히 어두워지는 것을 의미한다.For reference, the above-mentioned fade-in, fade-out, and dissolve are briefly described. A fade-in means a screen is gradually brightened over several frames, and a fade-out is gradually darkened. Means that.
디졸브는 상기 페이드와는 달리 편집시 두 개의 영상을 몇 개의 프레임에 결처 오버랩(overlap)시켜 장면 변화를 자연스럽게 만드는 방법으로, 일반적으로 사라지는 영상은 페이드-아웃하고, 새로 나타나는 영상은 페이드-인시키며 이때 두 영상을 동시에 오버랩시켜 화면에 나타내는 효과이다.Unlike the fade, dissolve is a method of overlapping two images in a few frames during editing to make a scene change naturally. Generally, a fading image fades out and a newly appearing image fades in. This is the effect of overlapping two images at the same time.
본 발명에서는 상기에 기술한 바와 같은 종래 문제점을 해결하기 위해 이차편미분을 통해 점진적 장면변화 중 디졸브 효과를 자동 검출하여 비디오 분석기의 성능을 향상시키고자 하는 것을 목적으로 하고, 이를 통하여 더 정확하고 빠르게 비디오 라이브러리를 개발할 수 있으며, 멀티미디어 서비스의 이용과 개발, 유지 등을 더욱 편리하도록 하는 것을 목적으로 한다.The present invention aims to improve the performance of a video analyzer by automatically detecting a dissolve effect during a gradual scene change through a second partial derivative to solve the conventional problems as described above, and thereby to achieve a more accurate and faster video. The library can be developed and its purpose is to make it easier to use, develop, and maintain multimedia services.
제1a도는 본 발명이 적용되는 비디오 라이브러리의 구성을 개략적으로 나타낸 블럭도.1A is a block diagram schematically showing the configuration of a video library to which the present invention is applied.
제1b도는 제1a도에서 비디오 분석기의 내부 구성을 개략적으로 나타낸 블럭도.FIG. 1B is a block diagram schematically showing the internal configuration of the video analyzer in FIG. 1A. FIG.
제2도는 제1b도에서 장면경계 검출부의 내부 구성을 개략적으로 나타낸 블럭도.FIG. 2 is a block diagram schematically illustrating an internal configuration of the scene boundary detection unit in FIG. 1B.
제3도는 본 발명에 의한 장면경계 검출 방법의 흐름을 나타낸 순서도.3 is a flow chart showing the flow of the scene boundary detection method according to the present invention.
제4도는 본 발명과 기존의 발명을 테스트하기 위해 사용되는 아홉 프레임에 걸쳐 디졸브 효과가 나타난 비디오 클립의 예.4 is an example of a video clip with dissolve effects over nine frames used to test the present invention and existing invention.
제5a도는 제4도의 비디오 클립을 이용해 본 발명에 의한 방법으로 테스트한 결과를 나타내는 그래프.5a is a graph showing the results of testing with the method according to the invention using the video clip of FIG.
제5b,c도는 제4도의 비디오 클립을 이용해 편미분 값이 아닌 다른 가능한 측정 기준으로 테스트한 결과를 나타내는 그래프.5b and c are graphs showing the results of testing with possible measurements other than partial derivatives using the video clip of FIG.
제6도는 본 발명과 기존의 발명을 테스트하기 위해 사용한 한 프레임에만 디졸브 효과가 나타난 비디오 클립의 예.6 shows an example of a video clip with a dissolve effect on only one frame used to test the present invention and the existing invention.
제7a도는 제6도의 비디오 클립을 이용해 본 발명에 의한 방법으로 테스트한 결과를 나타내는 그래프.FIG. 7a is a graph showing the results of testing with the method according to the invention using the video clip of FIG.
제7b,7c도는 제6도의 비디오 클립을 이용해 편미분 값이 아닌 다른 가능한 측정 기준으로 테스트한 결과를 나타내는 그래프.7b and 7c are graphs showing the results of testing with possible measurements other than partial derivatives using the video clip of FIG.
제8도는 본 발명과 기존의 발명을 테스트하기 위해 사용한 4개의 디졸브 효과가 나타난 비디오 클립의 예.8 is an example of a video clip showing four dissolve effects used to test the present invention and existing invention.
제9a도는 제8도의 비디오 클립을 이용해 본 발명에 의한 방법으로 테스트한 결과를 나타내는 그래프.FIG. 9a is a graph showing the results of testing with the method according to the invention using the video clip of FIG.
제9b,c도는 제8도의 비디오 클립을 이용해 편미분 값이 아닌 다른 가능한 측정 기준으로 테스트한 결과를 나타내는 그래프.9b and c are graphs showing the results of testing with possible measurements other than partial derivatives using the video clip of FIG.
* 도면의 주요부분에 대한 부호의 설명* Explanation of symbols for main parts of the drawings
10 : 비디오 분석기(video parser)10: video parser
11 : 장면 경계 검출부(scene change detector)11: scene change detector
11-1 : 급진적 장면 경게 검출부(abrupt scene change detector)11-1: Abrupt scene change detector
11-2 : 점진적 장면 경계 검출부(gradual sdcene change detector)11-2: Gradual Sdcene Change Detector
11-3 : 카메라 동작 검출부(camera motion detector)11-3: Camera motion detector
11-4 : 비디오 특징 검출부(feature extractor)11-4: Video feature extractor
12 : 비디오 클러스터 검출부(video cluster)12: video cluster detection unit (video cluster)
13 : 대표화면 검출부(representative frame extractor)13: Representative Frame Extractor
20 : 비디오 라이브러리(video library)20: video library
상기와 같은 목적을 달성하기 위해 비디오 분석기 내의 점진적 장면경계(gradual scene change) 검출 방법에 있어서,In the method for detecting a gradual scene change (gradual scene change) in the video analyzer to achieve the above object,
입력된 영상에 대해 정전인 장면(scene)을 버리기 위해 일차 편비분 값을 계산하는 과정과;Calculating a primary deviation ratio value to discard a blackout scene for the input image;
상기 일차 편미분된 값과 더불어 이차 편비분을 수행하는 과정과;Performing a secondary partial secretion in addition to the first partial derivative;
상기 일차 편미분 값의 크기(norm)와 이차 편미분값의 크기를 비교하여 영상내에 디졸브(disslove) 효과의 존재여부 결정하는 과정을 포함하여,And comparing the magnitude of the first partial derivative with the magnitude of the second partial differential to determine whether a disslove effect is present in the image.
두번의 편미분 수행을 통해 디졸브 효과가 사용된 정확한 프레임 구간을 검출하여 장면경계로 설정하는 것을 특징으로 한다.By performing two partial derivatives, an accurate frame section using the dissolve effect is detected and set as a scene boundary.
상술한 목적 및 특징들, 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이다. 이하 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명하면 다음과 같다.The above objects, features, and advantages will become more apparent from the following detailed description taken in conjunction with the accompanying drawings. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
본 발명에 의한 디졸브 효과 검출 방식은 비디오 편집(edit) 과정의 실제 모델을 고려한 유일한 비디오 편집 모델에 근거한 방법으로써, 비디오 라이브러리의 개발과 유지를 위한 필수적인 도구인 자동 비디오 분석기(video parser)의 기본 요소로서 개발한 것이다.The dissolve effect detection method according to the present invention is a method based on a unique video editing model considering a real model of a video editing process, and is a basic element of an automatic video parser which is an essential tool for developing and maintaining a video library. As developed.
자동 비디오 분석기는 분석하는 입력 비디오를 그 내용에 따라 인덱싱하고, 비디오 데이터베이스에 효율적으로 저장하여 차후에 쉽고 빠르게 원하는 비디오를 검색할 수 있도록 비디오 내의 장면경계를 정확하게 검출할 수 있어야 한다.Automated video analyzers need to index the input video to be analyzed according to its content, and efficiently store it in a video database so that scene boundaries within the video can be accurately detected for easy and fast retrieval of the desired video later.
본 발명의 기술원리를 살펴보면 하기와 같다.Looking at the technical principle of the present invention.
별개의 두 정지 영상이 디졸브 효과로 편집된 영상의 경우, 영상의 시간 축이차 편미분은 0이 되는 반면에 일차 편미분은 0이 되지 않는다.In the case of an image in which two separate still images are edited with the dissolve effect, the temporal differential partial derivative of the image is zero while the primary partial differential is not zero.
반면, 작은 움직임이 포함되어 있는 두 영상이 디졸브 효과로 편집된 영상의 경우, 이차 편미분은 0이 되지는 않지만, 0에 근접한 값을 가지게 되고, 이차 편미분이 일차 편미분 보다 작다는 것을 실험적으로 관찰할 수 있다.On the other hand, in the case where two images containing small movements are edited by the dissolve effect, the second partial derivative is not zero, but has a value close to zero, and the second partial derivative is experimentally observed to be smaller than the first partial derivative. Can be.
따라서 이러한 특징으로 이용하여, 본 디졸브 검출 알고리즘은 영상의 일차 편미분의 크기가 적절한 임계치 보다 크고, 이차 편미분의 크기가 일차 편미분 보다 상대적으로 작을 때 디졸브 효과가 사용되었다고 판단하는 것이다.Therefore, using this feature, the dissolve detection algorithm determines that the dissolve effect is used when the magnitude of the primary partial derivative of the image is larger than an appropriate threshold and the magnitude of the secondary partial derivative is relatively smaller than the primary partial derivative.
디졸브를 포함한 점진적 장면경계를 검출하기 위한 종래 기술중 'chromatic' 비디오 편집 모델에 근거한 방법이 비디오 편집 과정의 실제 모델을 통합한 유일한 모델이라 할 수 있다.In the prior art for detecting progressive scene boundaries including dissolves, the method based on a 'chromatic' video editing model is the only model incorporating the actual model of the video editing process.
하지만 이 방법을 포함하여 이전에 발표된 방법들은 상기에서도 언급한 바와 같이 점진적 장면경계 중 페이드-인, 페이드-아웃은 검출했지만 디졸브는 검출하지 못했다.However, previously published methods, including this method, detect fade-in and fade-out of progressive scene boundaries as mentioned above, but do not detect dissolves.
이에 따라 페이드-인, 페이드-아웃, 디졸브를 포함한 새로운 점진적 장면경계 검출 알고리즘은 다음의 크로매틱(chromatie) 비디오 편집 모델에 근거를 둔다.Accordingly, new progressive scene boundary detection algorithms, including fade-in, fade-out, and dissolve, are based on the following chromatice video editing model.
여기에서 α(t)과 β(t)는 비디오 편집 시간 또는 점진적 장면경계 (0〈t〈T) (여기서 T는 페이드나 디졸브 효과가 같은 점진적 장면경계가 적용된 구간임) 동안 시간의 'piece-wise linear' 함수이다. 예를 들면 α(t)과 β(t)는 페이드-인, 페이드-아웃, 디졸브를 위해 다음과 같이 표현될 수 있다.Where α (t) and β (t) are the pieces of time during the video editing time or gradual scene boundary (0 <t <T), where T is the gradual scene boundary with the same fade or dissolve effect. wise linear 'function. For example, α (t) and β (t) can be expressed as follows for fade-in, fade-out, and dissolve.
상기 수학식 1과 수학식 2는 페이드-인, 페이드-아웃, 디졸브 효과를 포함한다. 예를 들면 페이드-아웃에 있어서는 g2= 0, 페이드-인에 있어서는 g1= 0이다.Equations 1 and 2 include fade-in, fade-out, and dissolve effects. For example, the fade-in is In g 1 = 0 in-out in the g 2 = 0, the fade.
페이드-인 또는 페이드-아웃의 검출을 위해서 chromatic image CI(x,y,t)는 다음과 같이 계산된다.For detection of fade-in or fade-out, the chromatic image CI (x, y, t) is calculated as follows.
상기 chromatic image는 페이드-인, 페이드-아웃에서 constant image일 것이다. 예를 들면 움직임이 없는 선형 페이드-아웃에서는, 즉을 가정하면, 계산된 chromatic image는 픽셀 좌초(pixel coordinate) x와 y에 독립적이며, CI(x,y,t)= -1/(Tα(t)) 일 것이다. 따라서 chromatic image의 constancy를 측정하는 것이 페이트-인과 페이트-아웃을 결정하는 효율적인 방법이 될 것이다.The chromatic image will be a constant image at fade-in and fade-out. For example, in a linear fade-out without motion, i.e. Assume that the computed chromatic image is independent of pixel coordinates x and y, and CI (x, y, t) = -1 / (Tα (t)). Therefore, measuring the constancy of chromatic images would be an efficient way to determine the fate-in and fate-out.
그러나 디졸브에 있어서는 α(t)와 β(t)가 각각 선형적으로 감소, 증가하므로, chromatic image는 constant image가 아닐 것이다. Chromatic image CI(x,y,t)는 α(t)와 β(t)가 동시에 변하지 않는 부분에서만 constant image일 것이다. 따라서, 이 방법을 이용해서는 디졸브를 검출할 수 없다.However, in the dissolve, the chromatic image may not be a constant image since α (t) and β (t) decrease and increase linearly, respectively. Chromatic image CI (x, y, t) will be a constant image only in areas where α (t) and β (t) do not change at the same time. Therefore, dissolves cannot be detected using this method.
여기에서 한 단계 더 나아가서 수학식 1에 나타나는 시간에 대한 일차 편미분값은 다음과 같이 표현될 수 있다.Further, the first partial differential value with respect to time shown in Equation 1 may be expressed as follows.
작은 움직임, 즉 intensity의 작은 변화를 가진 영상에서, 예를 들면, 이차 편미분은 다음과 같이 근사화 될 수 있다.In images with small movements, ie small changes in intensity, for example The second partial derivative can be approximated as
따라서 상기 수학식 2에서 처럼 모델화된 piece-wise 선형 비디오 편집 파라미터(parameters) α(t)와 β(t)에 있어서, 이차 편미분은 0으로 근사화 될 것이다.Thus, for the piece-wise linear video editing parameters α (t) and β (t) modeled as in Equation 2, the second partial derivative will be approximated to zero.
정적인 영상에 있어서는, 일차 편미분과 이차 편미분이 모두 0이 될 것이다. 따라서 작은 이차 편미분값과 큰 일차 편미분값을 가지는 프레임들에 대하여 디졸브 효과가 사용되었다고 선언된다.In a static image, both the primary partial derivative and the secondary partial derivative will be zero. Therefore, it is declared that the dissolve effect is used for frames having small secondary partial derivatives and large primary partial differentials.
점진적 장면경계 중 디졸브의 선언 여부는 다음과 같이 요약될 수 있다.Declaration of dissolve in the progressive scene boundary can be summarized as follows.
고 선언한다.Declare
여기에서 T1과 T2는 디졸브된 구간을 판별하기 위해 설정된 특정 임계치이며, 이 값은 실험치를 통해 최적의 값으로 설정된다.Here, T 1 and T 2 are specific thresholds set to determine the dissolved interval, and this value is set to an optimal value through an experimental value.
참고로 본 발명의 실험에서 T2= T1× 0.9로 설정하여 실험하였다.For reference, the experiment was set to T 2 = T 1 × 0.9 in the experiment of the present invention.
그리고 상기 수학식 7에서 ∥·∥은 임의의 크기(norm) 또는 메트릭(metric)을 의미한다.And in equation (7) ∥ · ∥ means any size (norm) or metric (metric).
한편, 상기 수학식 1의 비디오 편집 모델은 비압축된 도메인에서 표현된다. 따라서 상기 수학식 7의 방법은 비압축된 비디오 또는 압축된 비디오로부터 추출된 DC image sequence에 적용될 수 있다.On the other hand, the video editing model of Equation 1 is represented in the uncompressed domain. Therefore, the method of Equation 7 may be applied to a DC image sequence extracted from uncompressed video or compressed video.
그러나 수학식 1에 DCT와 같은 선형 변환(linear transform)을 취하면 영상 f, g1, g2가 단지 각각의 변환(transform)으로 대체될 것이다.However, if a linear transform such as DCT is applied to Equation 1, the images f, g 1 , and g 2 will be replaced only by the respective transforms.
따라서 수학식 7의 공식과 방법은 압축된 도메인에서도 역시 적용될 수 있다. 그러므로, 제안된 방법은 양쪽 도메인의 어떠한 데이타에도 적용될 수 있다.Therefore, the formula and method of Equation 7 can also be applied to the compressed domain. Therefore, the proposed method can be applied to any data in both domains.
상기와 같은 원리를 적용하여 구현한 본 발명의 기술을 설명하면 다음과 같다.Referring to the technique of the present invention implemented by applying the above principles are as follows.
제1a,1b도는 본 발명이 적용되는 비디오 라이브러리의 구성을 개략적으로 나타낸 블럭도로, 입력 영상을 분석하여 비디오 라이브러리 구축에 필요한 각종 영상 인덱싱 정보를 추출하는 비디오 분석기(10)와;1A and 1B are block diagrams schematically showing the configuration of a video library to which the present invention is applied, and include a video analyzer 10 for analyzing various input images and extracting various image indexing information necessary for constructing a video library;
상기 비디오 분석기(10)를 통해 입력된 다량의 영상 및 관련된 각종 영상 인덱싱 정보를 디지탈 형태로 저장하여, 사용자들이 인덱싱 정보를 이용해 컴퓨터망을 통해 원격지에서 필요한 영상을 검색하고, 검색한 영상을 전송받을 수 있도록 하는 비디오 라이브러리(20)로 구성된다.By storing a large amount of images and various image indexing information input through the video analyzer 10 in a digital form, users can search for necessary images from a remote place through a computer network using the indexing information and receive the retrieved images. It consists of a video library 20 to enable.
이때 상기 비디오 분선기(10)에서 추출되는 인덱싱 정보는 영상의 장면 변화가 일어나는 프레임에 대한 정보, 비슷한 장면들에 대한 정보(clustering 정보), 각 장면의 대표 화면(representative frame) 등으로 이루어진다.In this case, the indexing information extracted by the video divider 10 includes information on a frame in which a scene change of an image occurs, information on similar scenes (clustering information), a representative frame of each scene, and the like.
또한, 상기 비디오 분석기(10)는 촬영한 원시 영상을 편집한 과정에서 발생하는 장면 변화를 자동으로 검출하는 장면경계 검출부(11)와;In addition, the video analyzer 10 includes a scene boundary detection unit 11 for automatically detecting a scene change occurring in the process of editing the captured raw image;
연속한 장면들 중 비슷한 장면들을 자동적으로 묶어주는 기능을 수행하는 비디오 클러스터 검출부(video cluster)(12)와;A video cluster detector 12 which performs a function of automatically grouping similar scenes among successive scenes;
영상 중 각 장면을 대표할 수 있는 대표화면을 자동으로 생성하는 기능을 수행하는 대표화면 검출부(representative frame extractor)(13)을 포함하여 구성한다.Representative frame extractor 13 for automatically generating a representative screen that can represent each scene of the image is configured to include.
참고로 상기 장면경계 검출부(11)에 대한 부연설명을 하면 우리가 보는 영상은 촬영한 원시 영상들을 이어 붙이고 편집효과를 주는 편집과정을 거쳐서 제작되는데, 편집 시에 단순히 원시 영상을 이어 붙이는 컷(cut)의 경우는 장면 변화가 한 프레임에서 갑자기 일어나므로 이러한 장면 변화를 급진적 장면경계(abrupt scene change)라 하고, 페이드-인, 페이드-아웃, 디졸브와 같이 여러 프레임에 걸쳐 장면 변화가 일어나는 경우를 점진적 장면경계(gradual scene change)라 하며, 이러한 장면 경계를 검출하는 역할을 하는 것이 상기 검출부(11)이다.For reference, the description of the scene boundary detection unit 11 is made through the editing process of attaching the raw images captured and giving an editing effect. In the case of), the scene change occurs suddenly in one frame, so this scene change is called an abrupt scene change, and the scene change occurs gradually over several frames such as fade-in, fade-out, and dissolve. The detection unit 11 is called a scene scene (gradual scene change), and serves to detect such a scene boundary.
클러스터(12)에 대해 알아보면 각 장면의 길이는 영상의 내용이 영화, 뉴스, 광고 등에 따라 편차가 심하나 일반적으로 5-30초 정도의 시간을 갖는다. 이렇게 짧은 장면들을 비슷한 장면들로 묶어주면 영상을 인덱싱할 때 보다 효율적으로 인덱싱할 수 있으며 이를 클러스터링(clustering)한다고 한다.As for the cluster 12, the length of each scene varies greatly depending on the movie, news, advertisement, etc., but generally takes about 5-30 seconds. Combining these short scenes into similar scenes can make indexing more efficient when indexing an image, which is called clustering.
상기 장면경계(검출부(11)의 상세 구성을 보면 제2도에 도시된 바와 같이, 영상 편집 효과중 컷(cut)을 자동으로 검출하는 급진적 장면경계 검출부(abrupt scene change detector)(11-1)와;As shown in FIG. 2, a detailed scene boundary (abrupt scene change detector 11-1) automatically detects a cut during the image editing effect. Wow;
영상 편집 효과중 페이드-인, 페이드-아웃, 디졸브를 자동으로 검출하는 기능을 수행하는 점진적 장면경계 검출부(gradual scene chagne detector)(11-2)와;A gradual scene chagne detector 11-2 which performs a function of automatically detecting fade-in, fade-out, and dissolve among image editing effects;
각 장면에 사용된 카메라 움직임(panning, zooming, tilting 등)을 자동으로 검출하는 기능을 수행하는 카메라 동작 검출부(camera motion detector)(11-3)와;A camera motion detector 11-3 which performs a function of automatically detecting camera movements (panning, zooming, tilting, etc.) used in each scene;
인덱싱을 수행하는 사용자(비디오 라이브러리에 영상을 입력하는 사람)가 설정한 기준에 따라 영상을 자동적으로 분류하는 기능을 수행하는 비디오 특징 검출부(feature extractor)(11-4)를 포함하여 구성한다.And a video feature extractor 11-4 which performs a function of automatically classifying an image according to a criterion set by a user who performs indexing (a person who inputs an image into a video library).
상기 비디오 특징 검출부(11-4)에 대해 부연 설명하면, 예를 들어 사용자가 장면을 풍경(landscape)과 클로즈-업(close-up), 혹은 모션이 많은 장면과 모션이 거의 없는 장면으로 분류하고자 한다면 이에 해당하는 파라미터를 정의하여 이 값을 계산함으로써 자동으로 장면을 분류할 수 있다.The video feature detector 11-4 will be described in detail. For example, a user may classify a scene into a landscape, a close-up, or a scene with a lot of motion and a scene with little motion. If so, you can automatically classify the scene by defining the corresponding parameter and calculating this value.
상기와 같은 역할을 하는 각 검출부 중 본 발명에서 다루는 장면경계 검출부(11)의 동작 과정을 제3도의 순서도를 참조하여 설명하면 디지탈 비디오 신호가 입력되면 이 신호에 대해 첫번째 편미분(일차 편미분)을 계산하는 과정(S1)과;Referring to the flowchart of FIG. 3, the operation of the scene boundary detection unit 11 according to the present invention among the above-described detection units is described. When a digital video signal is input, the first partial derivative (first partial differential) is calculated for the signal. Process (S1);
상기 과정에서 계산된 일차 편미분값의 크기가 설정 임계값 T1보다 큰가의 여부를 판단하여 작으면 종료하는 과정(S2)과;Determining whether or not the magnitude of the primary partial differential value calculated in the above process is larger than the set threshold value T 1 and ending if it is small (S2);
상기 판단결과 일차 편미분값의 크기가 임계치 보다 크면, 한번 편미분된 신호에 대해 또한 편미분(이차 편미분)을 수행하는 과정(S3)과;If the magnitude of the primary partial differential value is larger than the threshold, performing a partial differential (secondary partial differential) on the signal once partially differentiated (S3);
상기 과정에서 계산된 이차 편미분값의 크기가 설정 임계값 T2보다 작은가의 여부를 판단하여 크면 종료하는 과정(S4)과;Determining whether or not the magnitude of the secondary partial derivative value calculated in the above process is smaller than the set threshold value T 2 , and terminating if it is large (S4);
상기 판단결과 이차 편미분한 값이 설정한 임계치 T2보다 작으면 현 구간을 점진적 장면경계(특히 디졸브)로 설정하는 과정(S5)을 포함하여 수행한다.As a result of the determination, if the second partial derivative value is smaller than the set threshold T 2 , a step S5 of setting the current section to a progressive scene boundary (particularly dissolve) is performed.
상기와 같은 과정으로 수행되는 본 발명의 특징은 편미분을 두번 수행한다는 점이다.The characteristic of the present invention carried out by the above process is that the partial differential is performed twice.
편미분을 두번 수행하는 점에 대한 원리는 이미 상기에서 언급한 바 있으므로 설명을 생략한다.Since the principle of performing the partial derivative twice is already mentioned above, the description is omitted.
이상과 같은 기술을 직접 비디오 클립에 적용하여 테스트한 결과를, 종래 방식으로 테스트한 결과와 비교하여 보기로 한다.The result of applying the above technique to a video clip and testing it is compared with the result of the conventional test.
각 실시예를 다음 도면들을 참조하여 설명한다.Each embodiment will be described with reference to the following drawings.
본 발명의 실시예는 디졸브 효과를 가진 많은 비디오 클립에 대하여 테스트 하였는 바, 디졸브 효과가 사용된 영상을 MPEG으로 압축한 영상으로부터 DC 영상를 추출하여, 이 DC 영상에 대하여 제안된 방법을 수행한 것이다.According to an embodiment of the present invention, a number of video clips having a dissolve effect were tested. A DC image was extracted from an MPEG compressed image using the dissolve effect, and the proposed method was performed on the DC image.
앞에서 언급했던 바와 같이 비압축된 비디오 또는 전체의 압축된 비디오를 이용하면 더 나은 성능을 보일 것이다. 평가 과정에서 사용한 종래방법은 'frame difference에 근거한 방법'과 'image variance에 근거한 방법'등이다.As mentioned earlier, using uncompressed video or the entire compressed video will yield better performance. Conventional methods used in the evaluation process are 'method based on frame difference' and 'method based on image variance'.
첫번째 테스트로는 아홉 프레임에 걸쳐 디졸브 효과가 적용된 탁구 비디오 클립을 대상으로 한다.The first test targets a ping pong video clip with a dissolve effect over nine frames.
제4도는 상기 탁구 비디오 클립의 부분으로, 이것은 탁구 경기의 일부분이며, 두 개의 탁구 경기 장면을 오버랩시켜 디졸브 효과를 적용했고, 도면에서 각 프레임은 왼쪽에서 오른쪽 그리고 위에서 아래로 프레임 28에서부터 프레임 42이다,4 is part of the table tennis video clip, which is part of a table tennis game, which overlaps two table tennis game scenes and applies a dissolve effect, in which each frame is frame 28 to frame 42 from left to right and top to bottom. ,
이때 디졸브 효과가 적용된 구간은 프레임 31(1열, image 4)에서부터 39(3열, image2)까지이다.At this time, the dissolve effect is applied to the frame 31 (1 row, image 4) to 39 (3 rows, image2).
제5a,b,c도는 상기 비디오 클립을 사용한 여러 가지 접근법의 결과를 보여주는 그래프로, 두 개의 수직 점선 사이 부분이 디졸브(프레임 31에서 39)가 존재하는 구간이다.5a, b, and c are graphs showing the results of various approaches using the video clip, in which a portion between two vertical dotted lines has a dissolve (frames 31 to 39).
제5a도는 본 발명에 의해 계산된 일차 편미분(실선으로 표시됨)과 이차 편미분(점선으로 표시됨)을 보여준다.5a shows the primary partial derivatives (indicated by solid lines) and the secondary partial derivatives (indicated by dashed lines) calculated by the present invention.
디졸브된 구간에서는 움직임이 없기 때문에, 예를 들면Since there is no movement in the dissolved interval,
, 이차 편미분은 0이며, 일차 편미분은 0이 아니다. The second partial derivative is zero and the first partial derivative is not zero.
따라서 제안한 방법은 프레임 31에 39를 디졸브로 선언할 수 있다.Therefore, the proposed method can declare 39 as dissolve in frame 31.
제5b도는 종래 방법 중 image variance 접근방법을 보여주는데, 여기에서는 Valley의 시작과 끝을 선언하기 어렵다. 또한 다른 종류의 'false alarm'을 나타낼 수 있도 있다.Figure 5b shows an image variance approach in the prior art, where it is difficult to declare the beginning and end of the valley. It can also indicate other kinds of false alarms.
제5c도는 종래 방법 중 delayed frame difference 접근방법을 보여주는데, dissolve를 나타내는 플래토(plateau)가 존재한다. 그러나 그 폭이 실제의 dissolve duration보다 매우 작다.Figure 5c shows a delayed frame difference approach in the prior art, there is a plate indicating a dissolve (platau). However, the width is much smaller than the actual dissolve duration.
상기 결과에서 알 수 있듯이 종래 두 방법으로는 디졸브를 판단하기 어려웠으나 본 발명에서는 정확하게 디졸브를 선언함을 볼 수 있다.As can be seen from the above results, it was difficult to determine the dissolve by the two conventional methods, but it can be seen that the present invention correctly declares the dissolve.
두번째 데스트로는 한 프레임에만 디졸브가 적용된 경우로서 TV 광고에서 많이 사용되는 기법으로 이 경우에 대한 테스트이다.The second destroyer is a case where dissolve is applied to only one frame and is a technique widely used in TV commercials.
제6도는 본 발명에서 제안한 방법을 평가하기 위하여 사용된 한 프레임에만 디졸브가 적용된 두 번째 탁구 비디오 클립을 보여주며, 도면에서 각 프레임은 왼쪽에서 오른쪽 그리고 위에서 아래로 프레임 29에서부터 프레임 33이다.6 shows a second table tennis video clip with dissolve applied to only one frame used to evaluate the method proposed in the present invention, where each frame is from frame 29 to frame 33 from left to right and top to bottom.
여기서는 31번째 프레임(도면에서는 3번째 프레임)에서 디졸브가 사용되었다는 점을 제외하고는 제4도의 첫 번째 탁구 비디오 클립과 동일하다.This is the same as the first table tennis video clip of FIG. 4, except that dissolve is used on the 31st frame (3rd frame in the figure).
제7a,b,c도는 두 번째 탁구 비디오 클립을 사용한 여러 가지 접근법의 결과를 보여주는 도면이다.Figures 7a, b, c show the results of various approaches using a second table tennis video clip.
제7a도는 본 발명에 의해 계산된 일차 편미분(실선으로 표시됨)과 이차 편미분(점선으로 표시됨)을 보여준다.Figure 7a shows the primary partial derivatives (indicated by solid lines) and the secondary partial derivatives (indicated by dashed lines) calculated by the present invention.
프레임이 움직임이 없이 인위적으로 디졸브되었기 때문에, 예를 들면, 이차 편미분은 0이며, 일차 편미분은 0이 아니다. 제안된 방법은 정확히 프레임 31을 디졸브로 검출한다.For example, because the frame was artificially dissolved without motion, The second partial derivative is zero and the first partial derivative is not zero. The proposed method accurately detects frame 31 as a dissolve.
제7b도는 image variance 접근방법을 보여주며, 제7c도는 delayed frame difference 접근방법을 보여준다. 보여지는 것처럼, 제7b도와 제7c도에서는 정확히 디졸브된 프레임을 결정하기 어렵다.Figure 7b shows the image variance approach, and Figure 7c shows the delayed frame difference approach. As can be seen, in Figures 7b and 7c it is difficult to determine exactly the dissolved frame.
상기 결과에서 알 수 있듯이 종래 두 방법으로는 디졸브 여부 및 정확한 구간을 판단하기 어려웠으나 본 발명에서는 정확하게 디졸브를 선언하고 그 구간을 판단할 수 있음을 볼 수 있다.As can be seen from the above results, it was difficult to determine whether the dissolve is correct and the correct interval by the two conventional methods, but it can be seen that the present invention can accurately declare the dissolve and determine the interval.
세번째 테스트로는 4개의 디졸브를 가지는 어떤 풍경 비디오 클립으로 테스트한다.The third test is a landscape video clip with four dissolves.
제8도는 본 발명에 의한 방법을 평가하기 위하여 사용한 실제 비디오 클립의 부분을 보여주는 도면으로, 이것은 4개의 디졸브를 가진 실제의 비디오(왼쪽에서 오른쪽, 위에서 아래로부터 : 프레임 3, 6, 9, 12, ... , 180)이다. 디졸브 구간은 프레임 1에서 19, 프레임 44에서 75, 프레임 96에서 113, 프레임 145에서 159로, 도면상에서 보면 1열-1행에서 1열-6행, 2열-5행에서 3열-5행, 4열-2행에서 4열-7행, 5열-8행에서 6열-3행이다.8 shows a portion of a real video clip used to evaluate the method according to the invention, which is a real video with four dissolves (from left to right, from top to bottom: frames 3, 6, 9, 12, ..., 180). The dissolve intervals are from frame 1 to 19, frame 44 to 75, frame 96 to 113, frame 145 to 159, as shown in the drawing from column 1 to column 1 to column 1 to 6, column 2 to 5 to column 3 to 5 Rows 4 through 2, rows 4 through 7, rows 5 through 8, columns 6 through 3.
제9a,b,c도는 풍경 비디오 클립을 사용한 여러 가지 접근법의 결과를 보여주는 도면으로, 네 쌍의 점선 사이가 네 개의 디졸브 효과가 존재하는 구간이다.9a, b, c show the results of various approaches using landscape video clips, with four dissolve effects between four pairs of dotted lines.
제9a도는 본 발명에 의해 계산된 일차 편미분(실선으로 표시됨)과 이차 편미분(점선으로 표시됨)을 보여준다.Figure 9a shows the primary partial derivatives (indicated by solid lines) and the secondary partial derivatives (indicated by dashed lines) calculated by the present invention.
여기에서 이차 편미분은 상대적으로 일차 편미분보다 작음을 알 수 있다. 디졸브 동안에 이차 편미분은 실질적으로 증가를 하지만 일차 편미분은 휠씬 더 증가 한다.Here, it can be seen that the secondary partial derivatives are relatively smaller than the primary partial derivatives. During dissolve, the secondary partial derivatives increase substantially, but the primary partial derivatives increase even more.
따라서 수학식 7에서 제안한 간단한 테스트가 정확하게 디졸브 구간을 검출할 수 있다.Therefore, the simple test proposed by Equation 7 can accurately detect the dissolve interval.
제9b도와 제9c도는 각각 image variance와 delayed frame difference 접근방법을 보여준다.Figures 9b and 9c show the image variance and delayed frame difference approaches, respectively.
제9b도는 image variance plot에서 valley가 프레임 44 근처에서 너무 일찍 시작된다는 것을 보여주며, 제9c도의 plateau는 실제 구간보다 너무 작다.Figure 9b shows that the valley in the image variance plot begins too early near frame 44, and the plateau in Figure 9c is much smaller than the actual interval.
제9c도에 있어서 delay 양이 각각의 디졸브 구간에 따라서 조정될 수 있다.In FIG. 9C, the delay amount can be adjusted according to each dissolve period.
그러나, 각각의 구간에 따른 delay의 조정은 다른 디졸브에 대하여 구간을 잘못 판단할 수도 있게 한다.However, the adjustment of the delay for each section may misjudge sections for different dissolves.
상기 결과에서 알 수 있듯이 종래 두 방법으로는 디졸브를 판단하기 어려웠으나 본 발명에서는 정확하게 디졸브를 선언함을 볼 수 있다.As can be seen from the above results, it was difficult to determine the dissolve by the two conventional methods, but it can be seen that the present invention correctly declares the dissolve.
이하, 요약해 보면 수학식 1에 따라 만들어진 디졸브가 있는 경우 제안된 방법은 매우 잘 동작했다. 기대했던 것처럼, 이차 편미분은 거의 0에 가깝거나 0이었으며, 일차 편미분은 아니었다(제4도 ∼ 제7도).In summary, the proposed method worked very well when there were dissolves made according to Equation (1). As expected, the secondary partial derivatives were nearly zero or zero, not the primary partial derivatives (FIGS. 4-7).
게다가, 약간의 움직임이 있는 디졸브에 있어서도 제한된 방법은 상당히 정확하게 디졸브를 검출할 수 있다.In addition, even with a slight dissolve, the limited method can detect the dissolve fairly accurately.
상기와 같이 설명한 바에 따르면 자동적인 영상 인덱싱은 대규모 영상 데이타베이스의 구축을 가능케하여, 멀티미디어 서비스의 수용와 효율을 높일 수 있는 방법의 하나로, 지금까지 여러가지 방식의 자동 장면 경계 검출 알고리즘들이 개발되었다. 그러나, 기존의 장면 경계 검출 알고리즘은 급진적 장면경계에서는 비교적 높은 검출 효율을 보이고 있는 반면에, 페이딩이나 디졸브와 같이 여러 프레임에 걸쳐 편집 효과를 사용한 점진적 장면변화에서는 검출 효율이 극히 저저한 실정이다.As described above, automatic image indexing is one of the methods for enabling the construction of a large-scale image database, thereby increasing the acceptance and efficiency of multimedia services, and various automatic scene boundary detection algorithms have been developed. However, while the conventional scene boundary detection algorithm shows relatively high detection efficiency in the radical scene boundary, the detection efficiency is extremely low in the progressive scene change using the editing effect over several frames such as fading or dissolve.
이에 반해 본 발명에서 제안하는 방식은 기존의 방법보다 검출 효율과 계산 시간 면에서 매우 좋은 성능을 보여주고 있으므로 본 발명을 적용한 검출방식을 이용할 경우, 보다 정확하고 효율적으로 영상 데이타베이스를 구축할 수 있다.On the contrary, the proposed method shows better performance in terms of detection efficiency and calculation time than the conventional method. Therefore, when using the detection method according to the present invention, an image database can be constructed more accurately and efficiently. .
그리고, 비디오 장면경계 검출부는 소프트웨어 도구로서 제작하여 상품화가 가능하며, 또한 상용 DBMS의 응용 도구로써도 상품화가 가능한 바, 실제로 미국의 "Dubner International Inc."사의 "Scene Stealer"는 독립적인 상품이고, 상용 DBMS 메이커인 "Informix"사의 "Scene Change Datablade"는 DBMS의 응용 도구로써 판매되고 있는 제품이다.In addition, the video scene boundary detection unit can be manufactured and commercialized as a software tool, and also commercialized as an application tool of a commercial DBMS. Actually, "Scene Stealer" of "Dubner International Inc." of the United States is an independent product, "Scene Change Datablade" by Informix, a DBMS maker, is sold as an application tool for DBMS.
이에 따라 본 발명에 의해 제안된 방식 또한 상품화 하면 경제적인 면에서 상당한 효과를 얻을 수 있다.Accordingly, if the method proposed by the present invention is also commercialized, significant effects can be obtained economically.
이상에서 상세히 설명한 바와 같이 본 발명은 종래의 기술에서 검출하지 못했던 점진적 장면경계 중 디졸브 효과를 자동 검출하는 기술로써, 이를 통하여 비디오 분석시 정확한 장면 경계의 설정이 가능하여, 비디오 라이브러리 개발을 위한 자동 비디오 분석기의 성능 향상을 수반하는 잇점이 있다.As described in detail above, the present invention is a technology for automatically detecting a dissolve effect among gradual scene boundaries not detected in the prior art, and thus, accurate scene boundaries can be set during video analysis, thereby enabling automatic video for video library development. There are advantages associated with improving the performance of the analyzer.
아울러 본 발명의 바람직한 실시예들은 예시의 목적을 위해 개시된 것이며, 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가 등이 가능할 것이므로, 이러한 수정 변경 등은 이하의 특허 청구의 범위에 속하는 것으로 보아야 할 것이다.In addition, preferred embodiments of the present invention are disclosed for the purpose of illustration, and various modifications, changes, additions, etc. will be possible to those skilled in the art within the spirit and scope of the present invention, such modifications and modifications belong to the following claims You will have to look.
Claims (5)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019980018424A KR100262344B1 (en) | 1998-05-21 | 1998-05-21 | Detectiong method of dissolving gradual scene changes in video data analysis |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019980018424A KR100262344B1 (en) | 1998-05-21 | 1998-05-21 | Detectiong method of dissolving gradual scene changes in video data analysis |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR19990085802A KR19990085802A (en) | 1999-12-15 |
| KR100262344B1 true KR100262344B1 (en) | 2000-08-01 |
Family
ID=19537598
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1019980018424A KR100262344B1 (en) | 1998-05-21 | 1998-05-21 | Detectiong method of dissolving gradual scene changes in video data analysis |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100262344B1 (en) |
-
1998
- 1998-05-21 KR KR1019980018424A patent/KR100262344B1/en not_active IP Right Cessation
Also Published As
| Publication number | Publication date |
|---|---|
| KR19990085802A (en) | 1999-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0780776B1 (en) | Apparatus for detecting a cut in a video | |
| US6928233B1 (en) | Signal processing method and video signal processor for detecting and analyzing a pattern reflecting the semantics of the content of a signal | |
| US6940910B2 (en) | Method of detecting dissolve/fade in MPEG-compressed video environment | |
| US6389168B2 (en) | Object-based parsing and indexing of compressed video streams | |
| US7110454B1 (en) | Integrated method for scene change detection | |
| Swanberg et al. | Knowledge-guided parsing in video databases | |
| US8385663B2 (en) | Video segmentation | |
| KR100333993B1 (en) | Determination Method of Camera Motion Induced Scene Change | |
| US7312819B2 (en) | Robust camera motion analysis for home video | |
| WO2007033352A2 (en) | Storage of video analysis data for real-time alerting and forensic analysis | |
| Yu et al. | A hierarchical multiresolution video shot transition detection scheme | |
| JP2003503971A (en) | Automatic extraction of video sequence structure | |
| JP2002501341A (en) | Method for detecting transitions in a sampled digital video sequence | |
| JP2003503972A (en) | Automatic extraction of video sequence structure | |
| JP4021545B2 (en) | Digital moving image processing apparatus and digital moving image processing method | |
| US20070061727A1 (en) | Adaptive key frame extraction from video data | |
| EP0780844A2 (en) | Cut browsing and editing apparatus | |
| JP2000285242A (en) | Signal processing method and video sound processing device | |
| US8150167B2 (en) | Method of image analysis of an image in a sequence of images to determine a cross-fade measure | |
| KR100262344B1 (en) | Detectiong method of dissolving gradual scene changes in video data analysis | |
| Kim et al. | An efficient graphical shot verifier incorporating visual rhythm | |
| KR100287559B1 (en) | Method and apparatus for optimizing scene transition detection interval in video | |
| Uehara et al. | Video shooting navigation system by real-time useful shot discrimination based on video grammar | |
| JP2000069420A (en) | Video image processor | |
| Hanjalic et al. | Recent advances in video content analysis: From visual features to semantic video segments |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20110502 Year of fee payment: 12 |
|
| LAPS | Lapse due to unpaid annual fee |