KR100812041B1 - A method for auto-indexing using a process of detection of image conversion - Google Patents
A method for auto-indexing using a process of detection of image conversion Download PDFInfo
- Publication number
- KR100812041B1 KR100812041B1 KR1020060067372A KR20060067372A KR100812041B1 KR 100812041 B1 KR100812041 B1 KR 100812041B1 KR 1020060067372 A KR1020060067372 A KR 1020060067372A KR 20060067372 A KR20060067372 A KR 20060067372A KR 100812041 B1 KR100812041 B1 KR 100812041B1
- Authority
- KR
- South Korea
- Prior art keywords
- frame
- frames
- scene change
- color
- detection
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000001514 detection method Methods 0.000 title claims abstract description 37
- 230000008569 process Effects 0.000 title description 5
- 238000006243 chemical reaction Methods 0.000 title 1
- 230000008859 change Effects 0.000 claims abstract description 44
- 230000007704 transition Effects 0.000 claims description 5
- 230000006870 function Effects 0.000 description 9
- 230000008901 benefit Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000004456 color vision Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/643—Hue control means, e.g. flesh tone control
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Discrete Mathematics (AREA)
- Image Analysis (AREA)
Abstract
개시된 본 발명에 따른 장면 전환 검출 방법을 이용한 자동 인덱싱 방법은, 동영상 프레임간의 DCT(discrete cosine transform : 이산 코사인 변환)계수를 비교하여 비유사도(N)를 구하고, 상기 비유사도(N)가 소정의 임계값(T)보다 큰 프레임들을 검출하는 장면 전환 프레임 제1차 검출 단계, 상기 검출된 장면 전환 프레임들의 색상(hue) 히스토그램을 이용하여 프레임간의 비유사도(Z)를 구하고, 상기 비유사도(Z)가 소정의 임계값(T`)보다 큰 해당 프레임들을 검출하는 장면 전환 프레임 제2차 검출 단계 및, 상기 제2차 검출 단계에서 검출된 프레임들을 저장하는 인덱싱 단계를 포함한다. 이에 의하면, 주요 내용이 바뀌는 부분마다 인덱싱이 되어 사용자가 불필요한 부분을 스킵해서 볼 수 있는 효과가 있다.In the automatic indexing method using the scene change detection method according to the present invention, a discrete cosine transform (DCT) coefficient between video frames is compared to obtain a dissimilarity (N), and the dissimilarity (N) is predetermined. A scene detection frame first detection step of detecting frames larger than a threshold value T, using the hue histogram of the detected scene change frames, a dissimilarity Z between frames is obtained, and the dissimilarity Z is obtained. And a scene change frame second detection step of detecting corresponding frames having a larger than a predetermined threshold value T ′, and an indexing step of storing the frames detected in the second detection step. According to this, indexing is performed for each part whose main content is changed, so that the user can skip and view unnecessary parts.
PVR, 인덱싱, DCT, Hue 히스토그램, 장면전환검출 PVR, Indexing, DCT, Hue Histogram, Cutaway Detection
Description
도 1은 본 발명의 실시예에 따른 인덱싱 방법을 도시한 전체 흐름도,1 is an overall flowchart illustrating an indexing method according to an embodiment of the present invention;
도 2는 프레임간에 DCT 계수를 비교하는 방법을 예시한 개념도,2 is a conceptual diagram illustrating a method of comparing DCT coefficients between frames;
도 3은 1차적으로 장면 전환점을 분류하는 방법을 예시한 순서도,3 is a flowchart illustrating a method of primarily classifying scene change points;
도 4는 Hue 히스토그램에 관한 개념도,4 is a conceptual diagram related to a Hue histogram;
도 5는 최종적으로 장면 전환점을 분류하는 방법을 예시한 순서도,5 is a flowchart illustrating a method of finally classifying scene change points;
도 6은 아이 프레임 또는 키 프레임을 설명하기 위한 개념도이다.6 is a conceptual diagram for explaining an eye frame or a key frame.
<도면의 주요부호에 대한 설명><Description of Major Symbols in Drawing>
401. Y,Pb,Pr의 신호로 표현된 프레임401. A Frame Represented by the Signals of Y, Pb, and Pr
402. Hue 값으로 구성된 프레임402.Frame consisting of Hue values
412. Hue 값412.Hue value
403. Hue 히스토그램403.Hue histogram
600. 아이프레임(I-frame) 또는 키프레임(Key-frame)600. I-frame or key-frame
본 발명은 장면 전환 검출 기법을 이용하여 장면점환점을 인덱싱하기 위한 방법에 관한 것으로서, 구체적으로 DCT 계수들간의 차분치로 1차 장면 전환점을 찾고, 색상(hue) 히스토그램 비교법으로 최종 장면 전환점을 검출한 후, 검출된 장면 전환점을 인덱싱하는 개선된 장면 전환 검출 방법을 이용한 자동 인덱싱 방법에 관한 것이다. The present invention relates to a method for indexing a scene point of change using a scene change detection technique. Specifically, a first scene change point is found by a difference value between DCT coefficients, and a final scene change point is detected by a hue histogram comparison method. An automatic indexing method using an improved scene change detection method which then indexes the detected scene change points.
동영상 자료는 제작 방식에 따라 크게 아날로그 방식과 디지털 방식으로 구분할 수 있다. 아날로그 동영상으로는 비디오테이프 VHS(Video Home System)가 대표적이며, 디지털 동영상에는 VCD(Video Compact Disc), SVCD(Super Video Compact Disc), DVD(Digital Versatile Disc), 개인이 디지털 캠코더로 직접 찍어 메모리 카드에 저장한 동영상 등의 매체와 컴퓨터용 모든 동영상 파일이 해당된다. Video materials can be classified into analog and digital methods according to the production method. The analog video is video tape VHS (Video Home System), and digital video includes VCD (Video Compact Disc), SVCD (Super Video Compact Disc), DVD (Digital Versatile Disc), and personal digital camcorders. This applies to media such as videos stored in and all video files for computers.
아날로그 동영상과는 달리 디지털 동영상은 복제, 편집, 변환, 이동이 용이하다는 점은 이미 널리 알려진 사실이다. 이러한 장점으로 인해 TV 방송 역시 디지털 방식의 서비스가 이루어지고 있으며 이에 따라 디지털 영상 기기에 대한 발전또한 날로 거듭 되고 있는 실정이다. 특히 디지털 TV의 경우 PVR 기능의 탑재 여부가 중요한 경쟁 포인트가 되는 등 최근에는 이러한 PVR 기능의 중요성이 강조되고 있다.Unlike analog video, it is well known that digital video is easy to copy, edit, convert and move. Due to these advantages, TV broadcasting also provides digital services, and accordingly, the development of digital video equipment is also being repeated day by day. In particular, in the case of digital TV, whether or not to install the PVR function is an important competition point, the importance of the PVR function in recent years has been emphasized.
PVR 이란 하드디스크에 정보를 기록하고 재생하는 개인용 디지털 녹화기기를 말하는 것으로 마그네틱 테이프에 영상신호를 저장하는 VCR과는 달리 하드디스크에 정보를 기록하여 재생하는 디지털 녹화기기를 말한다. 셋톱박스나 TV 본체에 내장된 하드디스크 드라이브를 통해 VCR 없이도 일정시간 분량의 방송을 녹화할 수 있다. 기본적인 기능은 VCR과 큰 차이가 없으나, 하드디스크에 정보를 기록하여 컴퓨터와 같은 파일재생방식으로 재생을 한다는 점이 다르다. PVR로 TV 방송을 녹화하고 시청하는 경우 제품이 자동으로 주요 내용이 바뀌는 부분마다 인덱싱을 해준다면 사용자는 인덱싱을 이용해서 지루한 부분이나 필요하지 않은 부분을 스킵해서 볼 수 있는 장점이 있다.PVR refers to a personal digital recording device that records and plays back information on a hard disk. Unlike a VCR that stores video signals on a magnetic tape, a PVR refers to a digital recording device that records and plays back information on a hard disk. The hard disk drive built into the set-top box or TV body allows you to record a certain amount of time without a VCR. The basic function is not much different from the VCR, but the information is recorded on the hard disk and played in the same file playback method as a computer. When recording and watching TV broadcasts with a PVR, if the product automatically indexes the major changes, users can use the indexing to skip boring or unnecessary parts.
이와 같은 동영상 인덱싱 방법으로는 단순히 일정시간마다 또는 일정 프레임 간격마다 인덱싱을 하는 방법이 있으나, 불필요한 부분까지 인덱싱을 하는 문제점을 내포하고 있다. 따라서, 동영상의 주요한 장면 전환이 있을 때마다 인덱싱을 하는 방법이 요구된다. 공개번호 제10-2006-0030270호 (발명의 명칭 : 이동통신단말기상에서 디지털 동영상을 인덱싱하는 방법)에서는 이와 같은 장면전환검출기법을 이용한 인덱싱을 개시하고 있다. 그러나 상기 출원에서는 각 프레임간의 휘도 블록 평균 밝기 차를 이용하여 장면전환을 검출하는 방법을 개시하고 있는 바, 이 역시 영상의 주요 내용이 바뀌지 않았음에도 휘도의 변화로 인해 장면을 불필요하게 검출하는 문제점이 있다.Such a video indexing method is a method of simply indexing every fixed time or every frame interval, but there is a problem that indexing even unnecessary parts. Therefore, there is a need for a method of indexing whenever there is a major scene change of a video. Publication No. 10-2006-0030270 (name of the invention: a method of indexing a digital video on a mobile communication terminal) discloses indexing using such a scene change detection technique. However, the above application discloses a method of detecting a scene change by using a luminance block average brightness difference between the frames, which also has a problem of unnecessarily detecting a scene due to a change in luminance even though the main contents of the image are not changed. have.
프레임이란 연속적으로 변화하는 동영상의 개별적 정지화면을 말한다. 즉, 동영상에서 컷을 검출한다 함은 일반적으로 동영상의 프레임을 검출하는 것을 말할 수 있다. 한 장의 프레임에 대하여 대표적인 특징값을 구하고, 각 프레임간의 특징 값의 차이가 임계값 이상이 되는 프레임을 컷으로 검출하는 방법이 동영상의 장면전환을 검출하는 방법으로 주로 사용되는데, 농도 히스토그램, 칼라 히스토그램 등의 특징값을 사용하게 된다. A frame is an individual still image of a continuously changing video. That is, detecting a cut in the moving picture generally refers to detecting a frame of the moving picture. A typical feature value is calculated for a single frame, and a frame that detects a scene whose difference in feature values is greater than or equal to a threshold is used as a method for detecting a scene transition of a video. A density histogram and a color histogram And feature values.
색상을 표현하는 칼라 모델은 사용되는 용도에 따라 다양하다. 가장 일반적으로 사용되는 하드웨어 기준 모델들은 칼라 모니터와 많은 종류의 색채 비디오 카메라를 위한 RGB 모델, 칼라 프린터를 위한 CMY 모델, 칼라 TV 방송의 표준인 YIQ 모델, 이미지 처리를 위해 사용되는 HSI 모델 등이 있다.The color model that represents the color varies depending on the intended use. The most commonly used hardware reference models include RGB models for color monitors and many color video cameras, CMY models for color printers, YIQ models for color TV broadcasting, and HSI models for image processing. .
상기 칼라 모델 중 적색(red), 녹색(green), 파랑색(blue) 등의 요소를 사용한 RGB 칼라모델의 RGB 히스토그램을 이용하여 동영상의 컷을 검출하는 방법은 일반적으로 많이 사용되는 방법이나 검출의 정확도가 떨어지는 문제점이 있다. Among the color models, a method of detecting cuts of a video using an RGB histogram of an RGB color model using elements such as red, green, and blue is generally used. There is a problem of low accuracy.
결국, 종래 기술은 사용자에게 필요하지 않은 부분을 인덱싱하거나 주요한 장면 전환이 되지 않는 곳에서 동영상 컷을 검출하는 등 사용자의 요구를 충족시키지 못하는 문제점이 있다.As a result, the prior art has a problem in that it does not meet the needs of the user, such as indexing a portion not required by the user or detecting a video cut in a place where a major scene change is not performed.
본 발명은 상기와 같은 문제점을 감안하여 안출된 것으로서, 본 발명은 DCT 계수들간의 차분치로 1차 장면 전환점을 찾고, Hue 영상 히스토그램 비교법으로 최종 장면 전환점을 검출한 후, 검출된 장면 전환점을 인덱싱함으로써, 사용자가 이를 이용하여 불필요한 부분을 스킵할 수 있도록 하는 개선된 장면 전환 검출 방법을 이용한 자동 인덱싱 방법을 제공하는 것을 그 목적이 있다.The present invention has been made in view of the above problems, and the present invention finds the first scene change point by the difference between DCT coefficients, detects the final scene change point by Hue image histogram comparison, and then indexes the detected scene change point. It is an object of the present invention to provide an automatic indexing method using an improved scene change detection method that enables a user to skip unnecessary parts using the same.
상기 목적을 달성하기 위한 본 발명에 따른 장면 전환 검출 방법을 이용한 인덱싱 방법은, 동영상 프레임간의 DCT(discrete cosine transform : 이산 코사인 변환)계수를 비교하여 비유사도(N)를 구하고, 상기 비유사도(N)가 소정의 임계값(T)보다 큰 프레임들을 검출하는 장면 전환 프레임 제1차 검출 단계, 상기 검출된 장면 전환 프레임들의 색상(hue) 히스토그램을 이용하여 프레임간의 비유사도(Z)를 구하고, 상기 비유사도(Z)가 소정의 임계값(T`)보다 큰 해당 프레임들을 검출하는 장면 전환 프레임 제2차 검출 단계 및, 상기 제2차 검출 단계에서 검출된 프레임들을 저장하는 인덱싱 단계를 포함하는 것을 특징으로 한다.In order to achieve the above object, the indexing method using the scene change detection method according to the present invention compares DCT (discrete cosine transform) coefficients between video frames to obtain dissimilarity (N), and the dissimilarity (N). A first scene detection frame detection step for detecting frames larger than a predetermined threshold T, using the hue histogram of the detected scene transition frames to obtain a dissimilarity Z between frames, A second scene detection frame for detecting corresponding frames whose dissimilarity Z is greater than a predetermined threshold value T`, and an indexing step for storing the frames detected in the second detection step. It features.
상기 장면 전환 프레임 제1차 검출 단계는 n-1 번째 프레임과 n 번째 프레임의 동일한 위치에 있는 블록의 DCT 계수 중 DC 계수들끼리의 차를 구하고, 상기 DC 계수들끼리의 차의 절대값들을 전부 합한 후, 미리 설정된 임계값과 비교하는 단계를 포함하는 것이 바람직하다.The first scene detection step of the scene change frame obtains a difference between DC coefficients among DCT coefficients of a block at the same position of the n−1 th frame and the n th frame, and calculates all absolute values of the differences between the DC coefficients. After the summation, the method preferably includes comparing with a preset threshold.
또한, 상기 장면 전환 프레임 제2차 검출 단계는 상기 제1차 검출 단계에서 검출된 프레임을 Y,Pb,Pr 값을 이용해서 색상(Hue) 값으로 구성된 프레임을 만드는 단계, 상기 색상(Hue) 값 중 적어도 하나 이상의 색상(Hue) 값을 정하여 색상(Hue) 히스토그램을 구하는 단계 및, n-1 번째 프레임과 n 번째 프레임의 색상(Hue) 히스토그램 차를 구하고, 상기 히스토그램 차의 절대값들을 전부 합한 후, 미리 설정된 임계값과 비교하는 단계를 포함하는 것이 바람직하다.In addition, the second scene change frame detecting step may include creating a frame composed of Hue values using the Y, Pb, and Pr values of the frames detected in the first detection step. Obtaining a color histogram by determining at least one color value of Hue, calculating a color histogram difference between the n-1th frame and the nth frame, and adding up the absolute values of the histogram difference. Preferably, comparing with a preset threshold.
한편, 상기 프레임은 아이 프레임(I-frame) 또는 키 프레임(key-frame)인 것이 바람직하다.On the other hand, the frame is preferably an I-frame or a key-frame.
본 발명의 상기와 같은 목적, 특징 및 다른 장점들은 첨부도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명함으로써 더욱 명백해질 것이다. 이하, 첨부도면을 참조하여 본 발명의 바람직한 실시예에 따른 개선된 장면 전환 검출 방법을 이용한 자동 인덱싱 방법을 상세히 설명하기로 한다.The above objects, features and other advantages of the present invention will become more apparent by describing the preferred embodiments of the present invention in detail with reference to the accompanying drawings. Hereinafter, an automatic indexing method using an improved scene change detection method according to a preferred embodiment of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 실시예에 따른 장면 전환 검출 방법을 이용한 인덱싱 방법을 도시한 것으로서, DCT 계수를 이용한 제1차 검출 단계(S100)와 색상(Hue) 히스토그램을 이용한 제2차 검출 단계(S110) 및 상기 장면 전환 검출 방법에 따라 검출된 프레임을 저장하는 인덱싱 단계(S130)를 포함한다.1 illustrates an indexing method using a scene change detection method according to an exemplary embodiment of the present invention, wherein a first detection step S100 using a DCT coefficient and a second detection step S110 using a color histogram are performed. And an indexing step (S130) of storing the detected frame according to the scene change detection method.
제1차 검출 단계(S100)는 동영상 프레임간의 DCT 계수를 비교하여 비유사도(N)를 구하고, 상기 비유사도(N)가 소정의 임계값(T)보다 큰 프레임들을 검출하는 방법으로 이루어진다.The first detection step S100 is performed by comparing DCT coefficients between video frames to obtain dissimilarity N, and detecting frames in which the dissimilarity N is greater than a predetermined threshold value T.
DCT 계수란 Discrete Cosine Transform의 약자로서 n개의 데이터를 n개의 코사인 함수의 합으로 표현하여 데이터의 양을 줄이는 방식을 말한다. 이 방식은 근본적으로 푸리에(Fourier)의 가설 즉, 시간 영역(time domain)에서 n개의 값은 주파수 영역(frequency domain)에서의 n개의 삼각함수로 표현될 수 있다는 푸리에 변환에서 출발한 것이다. 국제 표준 규격의 화상 압축 방식인 MPEG에서는 영상을 8x8 즉, 64개의 블럭 단위로 인코딩하는데, 이 64개의 데이터를 64개의 코사인 함수로 표기하는 것을 DCT 라 하고, 이렇게 변환된 코사인 함수들의 계수를 DCT 계수라 한 다.DCT coefficient is an abbreviation of Discrete Cosine Transform and represents a method of reducing the amount of data by expressing n data as the sum of n cosine functions. This method basically starts from Fourier's hypothesis, that is, n values in the time domain can be represented by n trigonometric functions in the frequency domain. In MPEG, an international standard image compression method, an image is encoded by 8x8, that is, 64 block units. The 64 data represented by 64 cosine functions is called DCT, and the coefficients of the cosine functions thus converted are DCT coefficients. It is called.
이러한 DCT 계수를 이용하면 동영상의 앞뒤 프레임간의 차이를 추출해 낼 수 있다. 예를 들어, 뉴스 시간의 아나운서를 생각해 보면 눈과 입술, 그리고 몸 전체의 작은 움직임 정도는 거의 변화가 없으므로 앞뒤 프레임 간의 DCT 계수는 비슷할 것이나 갑자기 장면이 바뀌는 경우에는 주파수 성분이 변하므로 앞뒤 프레임간의 DCT 계수 차이가 생기게 된다. By using these DCT coefficients, the difference between the front and rear frames of the video can be extracted. For example, considering the announcer of news time, the small movements of the eyes, lips, and the whole body are almost unchanged, so the DCT coefficients between the front and back frames will be similar. There will be a coefficient difference.
DCT 계수 중 DC 성분이 많을수록, 즉 주파수가 0인 성분이 많을수록 해당 동영상은 시간이 경과 하더라도 변화의 정도가 적은 것을 의미한다. 따라서, 앞뒤 프레임간의 DCT 계수 중 DC 성분을 비교하면 장면이 전환되었는지 여부를 검출할 수 있게 된다. The more DC components among the DCT coefficients, that is, the more components having a frequency of 0, the less the change of the corresponding video is over time. Therefore, by comparing the DC components among the DCT coefficients between the front and rear frames, it is possible to detect whether the scene has been switched.
제2차 검출 단계(S110)는 상기 제1차 검출 단계(S100)에서 검출된 프레임들의 색상(hue) 히스토그램을 이용하여 프레임간의 비유사도(Z)를 구하고, 상기 비유사도(Z)가 소정의 임계값(T`)보다 큰 해당 프레임들을 검출하는 과정으로 이루어진다.In the second detection step S110, a dissimilarity Z between frames is obtained by using hue histograms of the frames detected in the first detection step S100, and the dissimilarity Z is predetermined. And detecting the corresponding frames larger than the threshold value T '.
색상 히스토그램은 동영상 이미지의 특징 중 색상특징 정보를 표현하기 위한 방법이다. 색상 특징은 사용되는 칼라 모델에 따라 다르게 표현될 수 있다. 본 발명의 실시예에서는 HSI 칼라 모델을 사용하여 동영상의 색상 특징을 표현하였다. HSI 칼라 모델이란 사람이 색을 인지하는 모델과 가까운 직관적인 모델로 색상(hue), 채도(saturation), 명도(brightness)를 다루는 색상 모델을 말한다. RGB, YIQ, CMY 등의 색상모델은 시스템이나 하드웨어에서의 사용을 위해 만들어진 색상 모형이다. 반면 HSI모델은 인간의 색 인지에 기반을 둔 사용자 지향성의 색상모델이다. H는 색상(Hue), S는 채도(Saturation), I는 명도(Intensity)를 각각 나타내며 이 모형을 사용하면, 어떤 구체적 컬러를 만들기 위해 색을 조합할 필요가 없다는 장점이 있다.The color histogram is a method for expressing color feature information among features of a moving image. The color feature may be expressed differently depending on the color model used. In the embodiment of the present invention, the color characteristics of the video are expressed using the HSI color model. The HSI color model is an intuitive model that is close to a color-cognitive model that refers to a color model that handles hue, saturation, and brightness. Color models such as RGB, YIQ, and CMY are color models designed for use in systems or hardware. The HSI model, on the other hand, is a user-oriented color model based on human color perception. H stands for Hue, S stands for Saturation, and I stands for Intensity, respectively. The advantage of using this model is that you don't have to combine colors to create any specific color.
상기와 같은 색상 히스토그램은 동영상 이미지가 가지고 있는 특징 정보를 나타내므로 양 프레임간의 색상 히스토그램 값이 차이가 난다면 프레임 간의 특징 정보 또한 차이가 나는 것으로 판단할 수 있게 된다. 즉, 1차적으로 장면 전환이 있을 것으로 예상되는 프레임을 추출한 후, 각 프레임의 색상 특징을 비교하여 프레임간의 색상 변화가 크면 장면 전환이 있는 것으로 판단하고 2차적으로 장면 전환이 있는 프레임을 검출하게 된다.Since the color histogram represents the feature information of the moving image, if the color histogram value is different between the frames, the feature information between the frames may also be determined to be different. That is, after extracting a frame that is expected to have a scene change primarily, the color characteristics of each frame are compared to determine that there is a scene change if the color change between frames is large, and a frame having a scene change is detected secondly. .
나아가 본 발명은 상기와 같은 방법으로 장면 전환이 있는 프레임을 검출하여 자동으로 인덱싱을 하는 단계(S120)를 포함한다. 앞서 살펴 보았듯이 상기와 같은 방법은 종래 기술과는 달리 장면 전환이 있을 것으로 예상되는 프레임을 DCT 계수를 1차적으로 비교하여 추출하고, 이어서 색상(Hue) 히스토그램을 비교하여 최종적으로 검출하는 개선된 장면 전환 검출 방법으로서 상기 최종적으로 검출된 프레임을 자동으로 인덱싱을 하여 사용자는 불필요한 부분을 스킵할 수 있게 된다. Furthermore, the present invention includes a step (S120) for automatically indexing by detecting a frame having a scene change in the above manner. As described above, unlike the prior art, the above-described method extracts a frame that is expected to have a scene change by first comparing DCT coefficients, and then comparing the color histogram and finally detecting the improved scene. As a switching detection method, the last detected frame is automatically indexed, so that a user can skip an unnecessary part.
도 2는 상기 제1차 검출 단계에서 n-1번째 프레임과 n번째 프레임의 DCT 계수들의 차를 통한 비유사도(N)을 구하는 과정을 구체적으로 보여주고 있다.FIG. 2 illustrates a process of obtaining a dissimilarity N through the difference between DCT coefficients of the n-1 th frame and the n th frame in the first detection step.
양 프레임의 비유사도(N)는 n-1번째 프레임과 n번째 프레임의 블록의 DCT 계수 중 같은 블록의 DC 성분들의 차분치의 총합으로 양 프레임의 비유사도를 구한 다. 즉, 도시된 바와 같이 a, b, c 등의 각 블록은 각자의 DCT 계수를 갖는데 동일한 위치에 있는 블록의 DCT 계수 중 (0,0)번째 DC 계수들끼리의 차를 구한 후 그 절대값들의 전체 합을 구하는 방법 비유사도를 구할 수 있다. 이를 수식으로 나타내면 다음 수학식1과 같다.The dissimilarity (N) of both frames is obtained by the sum of the difference values of the DC components of the same block among the DCT coefficients of the blocks of the n-th frame and the n-th frame. That is, as shown, each block of a, b, c, etc. has its own DCT coefficient, and after obtaining the difference between the (0,0) th DC coefficients among the DCT coefficients of the block at the same position, How to find the total sum Similarity can be found. This is represented by the following equation (1).
여기서, n은 프레임을, i는 블록을 나타낸다.Where n represents a frame and i represents a block.
도 3은 상기와 같이 계산된 비유사도 N을 이용하여 1차적으로 장면 전환점을 분류하는 과정을 보여준다.3 illustrates a process of classifying scene change points primarily using dissimilarity N calculated as described above.
즉, 수학식 1과 같이 계산된 N값(S301)이 클수록 양 프레임은 비유사한 프레임이므로 어느 정도의 임계값(T)을 정해 놓고 그보다 큰 N 값이 나오면 양 프레임 간에는 주요한 장면 전환이 일어난 것으로 판단할 수 있다(S302). 따라서, N이 T보다 큰 경우 n-1번째 프레임과 n번째 프레임을 제1차 장면 전환점으로 분류한다(S303).That is, since the larger the N value (S301) calculated as in Equation 1, both frames are dissimilar frames, a certain threshold value (T) is set, and when a larger N value is obtained, a major scene change occurs between the two frames. It may be (S302). Therefore, when N is larger than T, the n-1th frame and the nth frame are classified as the first scene change point (S303).
도 4에서는 1차적으로 분류된 프레임들의 Hue 히스토그램을 비교하는 방법을 나타내고 있다. 4 illustrates a method of comparing Hue histograms of primary classified frames.
도 4에 도시된 바와 같이 각 프레임은 최종 출력을 위해 역 DCT 과정을 거친 후 Y, Pb, Pr의 3개의 신호(401)로 표현된다. Y,Pb,Pr 신호는 아날로그 신호로써 Y는 휘도 신호를 나타내고 Pb와 Pr은 색차 신호를 나타낸다. 상기 Y,Pb,Pr의 신호를 이용해서 1차적으로 선정된 프레임들을 색상(Hue) 값(412)으로 구성된 프레임(402)으로 만든다. 다음으로 대표적인 색상(Hue) 값을 h개 정한 후, 상기 선정된 프레임의 색상(Hue) 히스토그램(403)을 구한다. 이때, X축은 선정된 h개의 대표 색상(Hue) 값이 된다. As shown in FIG. 4, each frame is represented by three
도 5는 상기와 같이 만들어진 색상(Hue) 히스토그램(403)을 이용하여 1차적으로 선정된 프레임 간의 비유사도(Z)를 계산하여 최종적으로 장면 전환점을 분류하는 과정을 보여주고 있다.FIG. 5 illustrates a process of finally classifying scene transition points by calculating dissimilarity Z between frames selected primarily using a
즉, 비유사도 Z는 1차 장면 전환점으로 분류된 n-1번째, n번째 프레임의 색상(Hue) 히스토그램을 비교하여 구할 수 있는데(S500), 구체적으로는 n-1번째와 n번째 프레임의 히스토그램의 차의 절대치들의 총합으로 나타낼 수 있으며, 이를 수식으로 나타내면 수학식 2와 같다.That is, the dissimilarity Z can be obtained by comparing the color histograms of the n-1th and nth frames classified as the first scene transition points (S500). Specifically, the histograms of the n-1th and nth frames are compared. It can be expressed as the sum of the absolute values of the difference of, and represented by the equation (2).
여기서 n은 1차적으로 선정된 프레임, j는 색상(Hue) 값을 나타낸다.Where n is a primary selected frame and j is a Hue value.
상기와 같이 구해진 비유사도 Z가 클수록 양 프레임이 갖고 있는 정보특성은 차이가 큰 것이며, 따라서 어느 정도의 임계값 T` 와 비유사도 Z값을 비교(S501)하여 Z가 T`보다 큰 경우 n번째 프레임을 최종 장면 전환점으로 검출(S502)한다.The larger the dissimilarity Z obtained as described above, the greater the difference in the information characteristics of both frames. Therefore, the threshold value T` and the dissimilarity Z value are compared (S501), so that when the Z is larger than T`, the nth The frame is detected as the final scene change point (S502).
도 6은 아이 프레임 또는 키 프레임에 관한 개념도 이다. 아이 프레임 또는 키 프레임이란 비디오 파일의 압축을 돕기 위해 사용하는 것이다. 즉, 여러 프레임 중에 일정한 간격을 두고 한 프레임씩을 선택하여 해당 프레임을 키 프레임(600)으로 지정을 하게 되는데, 압축을 할 때에 키 프레임(600)에 해당하는 프레임은 영상의 전체를 모두 저장하고, 나머지 키 프레임 사이의 영상들(601)은 키 프레임과 비교하여 바뀐 부분만 저장을 하게 되면 압축 용량을 줄이는 효과를 볼 수 있게 된다. 6 is a conceptual diagram related to an eye frame or a key frame. Eye frames or key frames are used to help compress video files. That is, the frames are selected as
이상에서 본 발명의 바람직한 실시예에 대하여 설명하였으나 본 발명은 상술한 특정의 실시예에 한정되지 아니한다. 즉, 본 발명이 속하는 기술분야에서 통상의 지식을 가지는 자라면 첨부된 특허청구범위의 사상 및 범주를 일탈함이 없이 본 발명에 대한 다수의 변경 및 수정이 가능하며, 그러한 모든 적절한 변경 및 수정의 균등물들도 본 발명의 범위에 속하는 것으로 간주되어야 할 것이다.Although preferred embodiments of the present invention have been described above, the present invention is not limited to the above-described specific embodiments. That is, those skilled in the art to which the present invention pertains can make many changes and modifications to the present invention without departing from the spirit and scope of the appended claims, and all such appropriate changes and modifications are possible. Equivalents should be considered to be within the scope of the present invention.
앞서 설명한 바와 같이 본 발명에 따른 개선된 장면 검출 방법을 이용한 자동 인덱싱 방법에 의하면, 종래의 기술에 비해 보다 정확하게 주요한 장면 전환점을 검출하는 효과가 있고, 이렇게 검출된 장면 전환점을 자동으로 인덱싱함으로써 디지털 영상 기기의 한 기능인 스킵기능을 강화하는 효과가 있다. As described above, the automatic indexing method using the improved scene detection method according to the present invention has the effect of detecting a major scene change point more accurately than the conventional technology, and automatically indexes the detected scene change point to the digital image. The effect is to enhance the skip function, a function of the device.
나아가, 디지털 TV 방송을 MPEG 디코딩하는 경우 아이 프레임(I-frame) 및 DCT 계수 등은 디코딩의 필수과정이므로 종래 기술에 비해 부차적인 계산시간이 소요되지 않는다는 장점이 있다.Furthermore, when MPEG decoding a digital TV broadcast, since the I-frame and the DCT coefficient are essential steps of decoding, there is an advantage in that no additional calculation time is required compared to the prior art.
Claims (4)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020060067372A KR100812041B1 (en) | 2006-07-19 | 2006-07-19 | A method for auto-indexing using a process of detection of image conversion |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020060067372A KR100812041B1 (en) | 2006-07-19 | 2006-07-19 | A method for auto-indexing using a process of detection of image conversion |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20080008016A KR20080008016A (en) | 2008-01-23 |
| KR100812041B1 true KR100812041B1 (en) | 2008-03-10 |
Family
ID=39221031
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020060067372A KR100812041B1 (en) | 2006-07-19 | 2006-07-19 | A method for auto-indexing using a process of detection of image conversion |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100812041B1 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101430257B1 (en) * | 2013-02-27 | 2014-08-14 | 부경대학교 산학협력단 | An automatical shot change detection device using adaptive threshold for digital surveillance camera system |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20020040503A (en) * | 2000-11-24 | 2002-05-30 | 구자홍 | Shot detecting method of video stream |
| JP2004040808A (en) * | 2002-07-09 | 2004-02-05 | Samsung Electronics Co Ltd | Scene change detecting apparatus and method therefor |
-
2006
- 2006-07-19 KR KR1020060067372A patent/KR100812041B1/en not_active IP Right Cessation
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20020040503A (en) * | 2000-11-24 | 2002-05-30 | 구자홍 | Shot detecting method of video stream |
| JP2004040808A (en) * | 2002-07-09 | 2004-02-05 | Samsung Electronics Co Ltd | Scene change detecting apparatus and method therefor |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20080008016A (en) | 2008-01-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4942883B2 (en) | Method for summarizing video using motion and color descriptors | |
| US9576202B1 (en) | Systems and methods for identifying a scene-change/non-scene-change transition between frames | |
| KR20010089770A (en) | Significant scene detection and frame filtering for a visual indexing system using dynamic threshold | |
| JP5005154B2 (en) | Apparatus for reproducing an information signal stored on a storage medium | |
| KR100464075B1 (en) | Video highlight generating system based on scene transition | |
| US7248782B2 (en) | Image retrieving apparatus, image retrieving method and recording medium for recording program to implement the image retrieving method | |
| JP2000516434A (en) | Visible indexing system | |
| JP2000516435A (en) | Key Scene Detection and Frame Filtering for Visible Indexing System | |
| US20010021267A1 (en) | Method of detecting dissolve/fade in MPEG-compressed video environment | |
| JP4667697B2 (en) | Method and apparatus for detecting fast moving scenes | |
| EP0772940A1 (en) | Method and apparatus for compressing and analyzing video | |
| KR20040018506A (en) | Methods of and system for detecting a cartoon in a video data stream | |
| JP2007006454A (en) | Contents processing device, contents processing method, and computer program | |
| JP2007527141A (en) | How to play video frames adaptively | |
| EP1547016B1 (en) | Method and apparatus for encoding image and or audio data | |
| EP1053635B1 (en) | Method for detecting transitions in sampled digital video sequences | |
| JP2002238026A (en) | Video editing | |
| KR100812041B1 (en) | A method for auto-indexing using a process of detection of image conversion | |
| JP4198331B2 (en) | Recording device | |
| KR101501244B1 (en) | Method for generating a thumbnail | |
| JP2003519971A (en) | Method and apparatus for reducing false positives in cut detection | |
| KR100754334B1 (en) | Auto-indexing method for of personal video player | |
| KR20020040503A (en) | Shot detecting method of video stream | |
| JP4835540B2 (en) | Electronic device, video feature detection method and program | |
| KR100838816B1 (en) | Moving picture retrieval method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| G170 | Publication of correction | ||
| LAPS | Lapse due to unpaid annual fee |