KR100628333B1 - Method and device for providing selective motion estimation for fast video encoding - Google Patents
Method and device for providing selective motion estimation for fast video encoding Download PDFInfo
- Publication number
- KR100628333B1 KR100628333B1 KR1020040070602A KR20040070602A KR100628333B1 KR 100628333 B1 KR100628333 B1 KR 100628333B1 KR 1020040070602 A KR1020040070602 A KR 1020040070602A KR 20040070602 A KR20040070602 A KR 20040070602A KR 100628333 B1 KR100628333 B1 KR 100628333B1
- Authority
- KR
- South Korea
- Prior art keywords
- motion estimation
- motion
- skip
- frame
- selective
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
- H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
본 발명은 선택적 모션 추정 방법 및 장치에 관한 것으로서, 보다 상세하게는 미리 설정된 임계값을 기준으로 모션 추정 스킵 여부를 결정하여 선택적으로 모션 추정을 수행할 수 있는 방법 및 장치에 관한 것이다. 바람직한 실시예 의할 때, 선택적 모션 추정 장치는 현재 부호화할 프레임의 이전 프레임에 대하여 산출한 모션 활동도를 추출하기 위한 모션 활동도 추출부; 및 모션 추정을 스킵하기 위하여, 모션 활동도를 미리 설정된 임계값과 비교하여 모션 추정 스킵 조건을 만족하는지 여부를 판단하기 위한 스킵 판단부를 포함할 수 있다.The present invention relates to a method and apparatus for selective motion estimation, and more particularly, to a method and apparatus for selectively performing motion estimation by determining whether to skip motion estimation based on a predetermined threshold value. According to a preferred embodiment, the selective motion estimation apparatus comprises: a motion activity extraction unit for extracting a motion activity calculated for a previous frame of a frame to be currently encoded; And a skip determination unit for determining whether the motion estimation skip condition is satisfied by comparing the motion activity with a preset threshold value in order to skip the motion estimation.
모션 추정, 스킵, 부호화, MPEG, VIDEOMotion Estimation, Skip, Encoding, MPEG, VIDEO
Description
도 1은 종래 기술에 따른 MPEG-4의 MEMC를 위한 각 블록 별 MVP 후보들을 나타낸 도면.1 is a diagram illustrating MVP candidates for each block for MEMC of MPEG-4 according to the prior art.
도 2는 본 발명의 바람직한 실시예에 따른 제1 테스트 영상에 대한 모션 활동도를 나타낸 도면.2 is a diagram illustrating a motion activity diagram for a first test image according to a preferred embodiment of the present invention.
도 3a는 본 발명의 바람직한 실시예에 따른 선택적 모션 추정 방법의 순서도를 나타낸 도면.3A illustrates a flow diagram of a selective motion estimation method in accordance with a preferred embodiment of the present invention.
도 3b는 본 발명의 바람직한 실시예에 따른 선택적 모션 추정 장치의 구성을 도시한 도면.3B is a diagram showing the configuration of a selective motion estimation apparatus according to a preferred embodiment of the present invention.
도 4는 본 발명의 바람직한 실시예에 따른 제1 테스트 영상에 대한 RD 그래프를 나타낸 도면.4 is a diagram illustrating an RD graph of a first test image according to an exemplary embodiment of the present invention.
도 5는 본 발명의 바람직한 실시예에 따른 제2 테스트 영상의 SME 생략 비율에 따른 RD 그래프를 나타낸 도면.5 is a diagram illustrating an RD graph according to an SME omission ratio of a second test image according to an exemplary embodiment of the present invention.
도 6은 본 발명의 바람직한 실시예에 따른 제1 테스트 영상에 대한 MPEG-4 ref. S/W, 전체 ME 과정 생략, intra coding, MVFAST, PMVFAST SME(50%-생략 비율) 경우의 RD 비교 그래프6 illustrates MPEG-4 ref. For a first test image according to a preferred embodiment of the present invention. RD comparison graph for S / W, total ME process skip, intra coding, MVFAST, PMVFAST SME (50% -omitted ratio)
도 7은 본 발명의 바람직한 실시예에 따른 제2 테스트 영상에 대한 MPEG-4 ref. S/W, 전체 ME 과정 생략, intra coding, MVFAST, PMVFAST SME(50%-생략 비율) 경우의 RD 비교 그래프7 illustrates MPEG-4 ref. For a second test image according to a preferred embodiment of the present invention. RD comparison graph for S / W, total ME process skip, intra coding, MVFAST, PMVFAST SME (50% -omitted ratio)
도 8은 본 발명의 바람직한 실시예에 따른 아키오 영상의 ME 과정이 생략된 첫째 이미지를 도시한 도면.8 is a diagram illustrating a first image in which an ME process of an Akio image is omitted according to a preferred embodiment of the present invention.
<도면의 주요부분에 대한 부호의 설명><Description of the symbols for the main parts of the drawings>
200: 모션 추정/보상 장치200: motion estimation / compensation device
210: 모션 추정부210: motion estimation unit
220: 모션 보상부220: motion compensation unit
300 : 선택적 모션 추정 장치300: selective motion estimation device
310 : 스킵 정보 추출부310: skip information extraction unit
315 : 적용 판단부315: application judgment unit
320 : 모션 활동도 추출부320: motion activity extraction unit
330 : 스킵 판단부330: skip determination unit
340 : 모션 활동도 산출부340: motion activity calculation unit
350 : 스킵 정보 할당부350: skip information allocation unit
360 : 임계값 설정부360: threshold setting unit
본 발명은 선택적 모션 추정 방법 및 장치에 관한 것으로서, 보다 상세하게는 미리 설정된 임계값을 기준으로 모션 추정 스킵 여부를 결정하여 선택적으로 모션 추정을 수행할 수 있는 방법 및 장치에 관한 것이다. The present invention relates to a method and apparatus for selective motion estimation, and more particularly, to a method and apparatus for selectively performing motion estimation by determining whether to skip motion estimation based on a predetermined threshold value.
MPEG-4에서 사용되는 예측 방법은 모션 추정(Motion Estimation, ME)에 기반을 두고, 프레임 간에 모션이 없거나, 적은 경우, 부호화기는 현재의 프레임을 참조 프레임의 복사본으로 간주하도록 구성된다. 여기서, 모션 추정 기법은 연속된 비디오 프레임간 시간적 중복성을 제거하는데 효과적이기는 하나, 부호화기의 복잡도를 증가시키는 단점이 있다. MPEG-4 부호화기는 크게 텍스처 부호화와 모션 추정/모션 보상(Motion Estimation and Motion Compensation - MEMC) 부분으로 나눌 수 있다. 부호화 과정에서 모션 추정 과정은 전제 부호화 실행 시간 중 75% 이상을 차지할 만큼, MEMC 과정은 복잡하다.The prediction method used in MPEG-4 is based on Motion Estimation (ME), and when there is little or no motion between frames, the encoder is configured to regard the current frame as a copy of the reference frame. Here, although the motion estimation technique is effective to remove temporal redundancy between successive video frames, it has a disadvantage of increasing the complexity of the encoder. The MPEG-4 coder can be roughly divided into texture coding and motion estimation and motion compensation (MEMC). In the encoding process, the motion estimation process takes up more than 75% of the entire encoding execution time, and the MEMC process is complicated.
도 1은 종래 기술에 따른 MPEG-4의 MEMC를 위한 각 블록 별 MVP 후보들을 나타낸 도면이며, 이하, 도 1을 참조하여, 예측 방법을 설명하기로 한다. 블록 매칭 알고리즘은 가장 자주 쓰이는 모션 추정 방법으로, 한 프레임은 여러 개의 블록(Macro Block - MB)으로 분리 한 후, 각 블록을 참조하여, 프레임의 검색 영역 내 있는 가능한 모든 후보 블록들과 비교하도록 구성된다. FIG. 1 is a diagram illustrating MVP candidates for each block for a MEMC of MPEG-4 according to the prior art. Hereinafter, a prediction method will be described with reference to FIG. 1. The block matching algorithm is the most commonly used motion estimation method. One frame is divided into several blocks (Macro Block-MB), and each block is referred to and compared with all possible candidate blocks in the search region of the frame. do.
일반적으로, Sum of Absolute Differences (SAD) 방법이 현재 블록과 참조 프레임 내 후보 블록의 왜곡을 측정하는데 가장 많이 사용되며, 가장 작은 왜곡 값을 가진 후보 블록을 모션 벡터(Motion Vector - MV)로 선정한다. 부호화 효율을 높이기 위해서, MPEG-4 부호화기는 현재 MV와 후보 MV의 차이값을 부호화한다. 후보 MV는 도 1에서처럼 현재 MB의 인접 후보 MB의 MV의 중위값이며, 후보 MV의 선택은 MV 모드에 따라 다르게 설정할 수 있다. 1MV 모드인 경우, 도 1의 (a)처럼 각 8x8 블록의 MV는 현재 MB의 MV로 동일하게 설정될 수 있다. 그리고 4MV인 경우에는, 각 8x8 블록의 MV는 도 1의 (a) 내지 (d) 중 하나의 방식에 따라 설정될 수 있다.In general, the Sum of Absolute Differences (SAD) method is most commonly used to measure the distortion of candidate blocks in the current block and the reference frame, and selects the candidate block having the smallest distortion value as a motion vector (MV). . In order to improve the coding efficiency, the MPEG-4 coder encodes the difference between the current MV and the candidate MV. The candidate MV is the median value of the MVs of the adjacent candidate MBs of the current MB as shown in FIG. 1, and the selection of the candidate MVs may be set differently according to the MV mode. In the case of 1MV mode, as shown in FIG. In the case of 4MV, the MV of each 8x8 block may be set according to one of (a) to (d) of FIG. 1.
종래 기술에 의할 때, 이러한 후보 블록들을 이용하여 움직임 추정을 하는 방법은 다음과 같다.According to the prior art, a method of motion estimation using these candidate blocks is as follows.
첫째, Full Search (FS) 는 MPEG-4 reference S/W에서 사용하는 블록 매칭 방법이다. 이 방법은 사각 형태로 검색 영역 내 가능한 후보들을 검색해 가면서, 가장 적합한 MV를 찾는다. 규칙적인 처리 조건으로 인해 하드웨어 구현이 용이 한 이유로 FS는 널리 사용되나, 모든 가능한 후보들을 평가함으로 인해 많은 복잡도를 야기하는 문제점이 있다.First, Full Search (FS) is a block matching method used in MPEG-4 reference S / W. This method finds the most suitable MV while searching for possible candidates in the search area in a square shape. FS is widely used because hardware is easy to implement due to regular processing conditions, but it causes a lot of complexity by evaluating all possible candidates.
둘째, 종래 기술의 바람직한 실시예에 의할 때, MPEG-4 파트 7에서는 MVFAST(Motion Vector Field Adaptive fast Search Technique)를 ME 방법으로 채택하고 있다. MVFAST는 기존 다른 기술에 비해, 다이아몬드 형태의 검색으로 인한 화질 향상과 부호화 시간 단축을 가져왔다. MVFAST는 중앙 MV와 인접한 세 개 블록의 MV 중 중위값을 MV 후보로 선정한다. 후보 MV가 선택되면, 그 MV의 위치를 검색 영 역의 중심으로 여기고, 다이아몬드 형태로 검색을 시작한다. 검색은 중앙에 위치한 왜곡 값이 가장 작을 때 까지 반복된다. 다이아몬드 검색은 후보들을 적게 검색하기 위한 연구 초기에 많은 도움을 줄 수 있었다. 다이아몬드는 현재 블록의 초기 움직임 특성에 따라 작은 다이아몬드나 큰 다이아몬드로 선택된다. 만약 인접한 3개의 블록들 중 가장 큰 MV의 값이 초기의 임계 값 T1보다 작다면, 작은 다이아몬드가 선택되고, 임계 값 T1과 임계 값 T2 사이에 있다면, 큰 다이아몬드가 사용된다. 마지막으로 T2보다 크다면, 추가 검색이 작은 다이아몬드의 중심 부근부터 수행된다. Second, according to a preferred embodiment of the prior art, MPEG-4 Part 7 adopts the Motion Vector Field Adaptive Fast Search Technique (MVFAST) as the ME method. MVFAST has improved image quality and reduced encoding time due to diamond type search, compared to other existing technologies. MVFAST selects the median value of the MVs of three blocks adjacent to the central MV as MV candidates. When a candidate MV is selected, the position of the MV is regarded as the center of the search area, and the search is started in diamond form. The search is repeated until the center distortion is smallest. Diamond search could help a lot early in the study to search for fewer candidates. Diamonds are chosen to be either small diamonds or large diamonds, depending on the initial movement characteristics of the current block. If the value of the largest MV of the three adjacent blocks is smaller than the initial threshold T1, a small diamond is selected and if it is between the threshold T1 and the threshold T2, then the large diamond is used. Finally, if greater than T2, further search is performed near the center of the small diamond.
셋째, PMVFAST(Predictive MVFAST)는 MPEG-4의 ME를 빠르게 수행하기 위해 선택적으로 사용된다. PMVFAST는 기본적으로 MVFAST와 유사한 검색 방법을 사용하고, 가능한 모든 후보자를 평가하며, 효과적인 방법으로 다이아몬드 형태를 선택한다. PMVFAST와 MVFAST와의 차이점은 다이아몬드를 선택하는 방법이다. PMVFAST는 작은 다이아몬드를 자주 사용하여 MVFAST에 비해 부호화 시간을 줄일 수 있다. PMVFAST에서는 인접한 세 블록들의 중앙값, 즉 MV 중위 수 값이 0 이고 왜곡 값이 상대적으로 클 때, 큰 다이아몬드가 사용되고, 다른 모든 경우에는 작은 다이아몬드가 사용된다. Third, PMVFAST (Predictive MVFAST) is optionally used to quickly perform ME of MPEG-4. PMVFAST basically uses a search method similar to MVFAST, evaluates all possible candidates, and selects the diamond shape in an effective way. The difference between PMVFAST and MVFAST is the choice of diamond. PMVFAST often uses smaller diamonds to reduce coding time compared to MVFAST. In PMVFAST, a large diamond is used when the median value of three adjacent blocks, that is, the MV median value is 0 and the distortion value is relatively large, and a small diamond is used in all other cases.
이와 같은 종래 기술은 비록 복잡도를 줄일 수 있는 효과적인 알고리즘이지만, 핸드폰과 같은 저전력 환경에서는 적합하지 않을 수 있다. 또한, 종래 기술에 의할 때, 기준의 모션 추정 방법과 연계하여 선택적으로 적용할 수 있으며, 복잡도를 한층 더 감소시킬 수 있는 획기적인 움직임 추정 방법 또는 장치는 존재하지 아 니한 실정이다.Although this prior art is an effective algorithm to reduce the complexity, it may not be suitable in a low power environment such as a mobile phone. In addition, according to the related art, there is no groundbreaking motion estimation method or apparatus that can be selectively applied in connection with a reference motion estimation method and can further reduce the complexity.
따라서 본 발명은 상기의 제반 문제점을 해결하기 위하여 안출한 것으로서, 미리 설정된 임계값을 기준으로 모션 추정 스킵 여부를 결정하여 선택적으로 모션 추정을 수행할 수 있는 방법 및 장치를 제공함에 있다.Accordingly, the present invention has been made to solve the above problems, and provides a method and apparatus for selectively performing motion estimation by determining whether to skip motion estimation based on a predetermined threshold value.
또한, 본 발명의 다른 목적은 부호화 기술 중 모션 추정 부분을 선택적으로 적용함으로써 부호화 복잡도를 사용자가 조정 가능하도록 구성함에 있다.In addition, another object of the present invention is to configure the user to adjust the coding complexity by selectively applying the motion estimation portion of the coding technique.
또한, 본 발명의 또 다른 목적은 압축 방법의 전환 없이 기존의 압축 방법과 연계되어 동작할 수 있는 선택적 모션 추정 방법 및 장치를 제공함에 있다Further, another object of the present invention is to provide a selective motion estimation method and apparatus that can operate in conjunction with an existing compression method without switching the compression method.
또한, 본 발명의 또 다른 목적은 비디오 프레임 중 모션이 적은 프레임을 선택하여 ME과정을 생략함으로 복잡도를 감소시킴에 있다.In addition, another object of the present invention is to reduce the complexity by selecting a frame with less motion in the video frame to skip the ME process.
또한, 본 발명의 또 다른 목적은 다양한 각 분야의 요구 사항에 맞춰 비디오의 부호화가 가능하므로, 산업 전반에 유용하게 쓰일 수 있는 움직임 추정 방법 및 장치를 제공함에 있다.In addition, another object of the present invention is to provide a motion estimation method and apparatus that can be useful for the entire industry since video can be encoded according to requirements of various fields.
또한, 본 발명의 또 다른 목적은 부호화기의 복잡도를 가변적으로 줄임으로 인해 필요에 따라 부호화 실행 시간을 조절 할 수 있는 움직임 추정 방법 및 장치를 제공함에 있다.
In addition, another object of the present invention is to provide a motion estimation method and apparatus that can adjust the encoding execution time as needed by variably reducing the complexity of the encoder.
상술한 목적을 달성하기 위하여 본 발명의 제1 측면에 따르면, 미리 설정된 임계값을 기준으로 모션 추정 스킵 여부를 결정하여 선택적으로 모션 추정을 수행할 수 있는 장치를 제공할 수 있다.According to a first aspect of the present invention, an apparatus capable of selectively performing motion estimation by determining whether to skip motion estimation based on a predetermined threshold value can be provided.
바람직한 실시예 의할 때, 선택적 모션 추정 장치는 현재 부호화할 프레임에 대응하는 스킵 정보를 추출하기 위한 스킵 정보 추출부; 현재 부호화할 프레임의 직전 프레임에 대하여 산출한 모션 활동도를 추출하기 위한 모션 활동도 추출부; 상기 모션 활동도를 미리 설정된 임계값과 비교하여 모션 추정 스킵 조건을 만족하는지 여부를 판단하기 위한 스킵 판단부; 및 상기 스킵 정보를 이용하여 상기 모션 활동도 추출부 및 상기 스킵 판단부의 동작 여부를 결정하기 위한 적용 판단부를 포함하는 것을 특징으로 할 수 있다.According to a preferred embodiment, the selective motion estimation apparatus includes a skip information extracting unit for extracting skip information corresponding to a frame to be currently encoded; A motion activity extractor for extracting a motion activity calculated for a frame immediately preceding the frame to be currently encoded; A skip determination unit for determining whether a motion estimation skip condition is satisfied by comparing the motion activity with a preset threshold value; And an application determiner configured to determine whether the motion activity extractor and the skip determiner operate using the skip information.
또한, 선택적 모션 추정 장치는 상기 현재 프레임에 대한 모션 추정을 스킵하는 경우 직후 프레임에 대하여 모션 스킵을 수행하지 아니하고, 상기 현재 프레임에 대한 모션 추정을 스킵하지 아니하는 경우 상기 직후 프레임에 대한 모션 스킵 조건 만족 여부를 판단하여 스킵 여부를 결정하도록 스킵 정보를 할당하기 위한 스킵 정보 할당부를 더 포함할 수 있다.In addition, the selective motion estimation apparatus does not skip motion immediately for the frame immediately after skipping the motion estimation for the current frame, and skips the motion estimation for the current frame. The apparatus may further include a skip information allocator configured to allocate skip information to determine whether to skip the content by determining whether the content is satisfied.
또한, 선택적 모션 추정 장치는 상기 현재 프레임에 대한 모션 추정을 스킵하지 아니하는 경우, 모션 추정을 수행하면서, 미리 설정된 방식에 따라 상기 현재 프레임의 모션 활동도를 산출하기 위한 모션 활동도 산출부를 더 포함할 수 있고, 상기 임계값을 설정하기 위한 임계값 설정부를 더 포함할 수도 있다.In addition, the selective motion estimation apparatus further includes a motion activity calculator for calculating a motion activity of the current frame according to a preset method while performing motion estimation when the motion estimation for the current frame is not skipped. The apparatus may further include a threshold setting unit for setting the threshold.
그리고 상기 선택적 모션 추정 장치는 상기 모션 추정 스킵 조건을 만족하지 아니하는 경우, 미리 설정된 알고리즘에 따라 모션 추정을 수행하기 위한 모션 추정부 및 모션 보상을 수행하기 위한 모션 보상부를 포함하는 모션 추정/보상 장치에 결합될 수 있다.The motion estimation / compensation apparatus includes a motion estimation unit for performing motion estimation and a motion compensation unit for performing motion compensation when the selective motion estimation apparatus does not satisfy the motion estimation skip condition. Can be coupled to.
상술한 목적을 달성하기 위하여 본 발명의 제2 측면에 따르면, 미리 설정된 임계값을 기준으로 모션 추정 스킵 여부를 결정하여 선택적으로 모션 추정을 수행할 수 있는 방법을 제공할 수 있다.In order to achieve the above object, according to the second aspect of the present invention, it is possible to provide a method of selectively performing motion estimation by determining whether to skip motion estimation based on a predetermined threshold value.
바람직한 실시예 의할 때, 선택적 모션 추정 방법은 (a) 현재 부호화할 프레임에 대응하는 스킵 정보를 추출하는 단계; (b) 현재 부호화할 현재 프레임의 직전 프레임에 대하여 산출한 모션 활동도를 추출하는 단계; (c) 상기 모션 활동도를 미리 설정된 임계값과 비교하여 모션 추정 스킵 조건을 만족하는지 여부를 판단하는 단계; 및 (d) 상기 모션 추정 스킵 조건을 만족하는 경우 상기 현재 프레임에 대한 모션 추정을 스킵하고 모션 보상을 수행하는 단계를 포함하되, 상기 단계 (b) 내지 상기 단계 (d)는 상기 직전 프레임에 대한 모션 추정이 스킵되지 않은 경우에만 수행되는 것을 특징으로 할 수 있다.According to a preferred embodiment, the selective motion estimation method comprises: (a) extracting skip information corresponding to a frame to be currently encoded; (b) extracting a motion activity calculated for the frame immediately preceding the current frame to be currently encoded; (c) comparing the motion activity with a preset threshold to determine whether a motion estimation skip condition is satisfied; And (d) skipping motion estimation for the current frame and performing motion compensation when the motion estimation skip condition is satisfied, wherein steps (b) to (d) are performed on the previous frame. It may be characterized in that it is performed only when the motion estimation is not skipped.
또한, 상기 현재 프레임에 대한 모션 추정을 스킵하는 경우 직후 프레임에 대하여 모션 스킵을 수행하지 아니하고, 상기 현재 프레임에 대한 모션 추정을 스킵하지 아니하는 경우 상기 직후 프레임에 대한 모션 스킵 조건 만족 여부를 판단하여 스킵 여부를 결정하도록 스킵 정보를 할당하는 단계가 더 포함될 수도 있다.In addition, when skipping the motion estimation for the current frame, if the motion skip is not performed for the immediately after frame, and if the motion estimation for the current frame is not skipped, it is determined whether the motion skip condition for the immediately after frame is satisfied. Allocating skip information to determine whether to skip may further be included.
그리고 상기 현재 프레임에 대한 모션 추정을 스킵하지 아니하는 경우, 모션 추정을 수행하면서, 미리 설정된 방식에 따라 상기 현재 프레임의 모션 활동도를 산출하는 단계가 더 포함될 수도 있다.If the motion estimation for the current frame is not skipped, the method may further include calculating motion activity of the current frame according to a preset method while performing motion estimation.
이하, 첨부한 도면들을 참조하여 본 발명에 따른 선택적 모션 추정 방법 및 장치의 바람직한 실시예를 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어 도면 부호에 상관없이 동일하거나 대응하는 구성 요소는 동일한 참조번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, exemplary embodiments of the selective motion estimation method and apparatus according to the present invention will be described in detail with reference to the accompanying drawings. In the following description with reference to the accompanying drawings, the same or corresponding components are the same. Reference numerals will be given and duplicate description thereof will be omitted.
선택적 모션 추정Selective Motion Estimation
종래 모션 추정 방법은 복잡도를 감소시키기 위하여 다양한 방법을 개시하고는 있으나, 복잡도가 감소되더라도 모션 추정이 반드시 수행되도록 구성됨으로 인하여, 모션 추정으로 인한 복잡도 문제를 근본적으로 해결하지는 못하는 실정이다. 수년간 복잡한 처리 과정을 요구하는 MEMC 알고리즘에 대한 수많은 연구 결과들이 소개되며, 이 중 복잡도를 효과적으로 감소시키기 위한 알고리즘이 소개되고 있다. 여기서, 지금까지 대부분의 MEMC 관련 연구는 복잡도를 감소시킬 수 있는 새로운 알고리즘에 대하여 연구가 주를 이루었으므로, 새로운 알고리즘은 적용하기 위해서는 기존 알고리즘을 교체하여야 하는 번거로움이 있다. 하지만 본 발명은 새로운 알고리즘에 대한 접근이 아닌 기존 알고리즘을 적용하면서 필요에 따라 그 과정 자체를 생략하여 복잡도를 감소시킬 수 있다.Conventional motion estimation methods have disclosed various methods to reduce the complexity, but since the motion estimation is necessarily performed even if the complexity is reduced, it does not fundamentally solve the complexity problem due to motion estimation. Numerous studies on MEMC algorithms that require complex processing for many years have been introduced. Among them, algorithms for reducing complexity are introduced. Here, since most of the studies related to MEMC have been focused on new algorithms that can reduce the complexity, the new algorithm has a need to replace the existing algorithm in order to apply the new algorithm. However, the present invention can reduce the complexity by omitting the process itself as necessary while applying the existing algorithm, rather than access to a new algorithm.
본 발명은 프레임 단위로 선택적으로 ME를 적용하여, 복잡한 MEMC 과정을 최소화 할 수 있는 방법 및 장치를 제공할 수 있다. 비록 PMVFAST와 MVFAST와 같은 빠른 기술들이 기존에 존재하나, 입력 비디오 데이터의 특성 또는 인코더 또는 디코더 장치의 성격에 따라 복잡도의 추가적인 감소를 요구하는 경우가 있다. 본 발명은 ME 과정을 선택적으로 생략하여, 근소한 차이의 화질 열화를 발생하면서 부호화기 복잡도를 상당 부분 개선 할 수 있다. 또한, 연속적인 이미지들 간의 강한 상호 관계 이용하여, 추가적인 ME 과정 없이 이전 블록을 현재 블록의 MC (Motion Compensation) 과정에 사용할 수 있다. 본 발명은 선택적으로 ME를 생략함으로써, ME가 전혀 적용되지 않는 경우보다 더 좋은 이미지 화질을 유지하면서 복잡도를 줄일 수 있다. The present invention can provide a method and apparatus that can minimize the complex MEMC process by selectively applying the ME on a frame basis. Although fast technologies such as PMVFAST and MVFAST exist, there are cases that require further reduction in complexity depending on the characteristics of the input video data or the nature of the encoder or decoder device. The present invention can selectively omit the ME process, thereby significantly improving the encoder complexity while generating a slight difference in image quality. In addition, by using a strong correlation between successive images, the previous block can be used for the MC (Motion Compensation) process of the current block without additional ME process. By selectively omitting the ME, the present invention can reduce the complexity while maintaining better image quality than when the ME is not applied at all.
도 2는 본 발명의 바람직한 실시예에 따른 테스트 영상에 대한 평균 MV (Motion Vector) 값을 나타낸 도면이다. 여기서, 테스트 영상으로서, 아키오 영상(프레임 100)을 기준으로 설명하기로 한다.2 is a diagram showing an average MV (Motion Vector) value for a test image according to an exemplary embodiment of the present invention. Here, the test image will be described based on the Akio image (frame 100).
본 발명에 따라 모션 추정을 생략할 이미지를 결정하기 위해서, 미리 설정된 임계값보다 작은 움직임을 가진 후보 이미지를 선택한다. 본 발명에 의할 때, 스킵에 따른 복잡도 감소 정도와 이미지 화질 감소 정도의 상관관계 정보를 이용하여 미리 설정된 기준으로 임계값을 설정할 수 도 있고, 상기 상관관계 정보를 제공하여 사용자가 원하는 이미지 품질 및 스킵 정도를 지정할 수 있다.According to the present invention, in order to determine an image from which motion estimation is to be omitted, a candidate image having a motion smaller than a preset threshold is selected. According to the present invention, a threshold may be set based on a predetermined reference by using correlation information of the degree of complexity reduction and the degree of image quality reduction according to the skip, and the correlation information may be provided to provide a user with desired image quality and You can specify the degree of skipping.
본 발명은 상기 임계값과 이전 프레임의 모션 활동도를 비교하여 스킵 여부를 결정할 수 있다. 여기서, 상기 모션 활동도는 하기 수학식 1을 이용하여 산출할 수 있다. The present invention can determine whether to skip by comparing the threshold value and the motion activity of the previous frame. Here, the motion activity may be calculated using
여기서, MA는 모션 활동도(Motion Activity), N은 프레임에 대응하는 매크로블록의 개수, Xi는 모션 벡터(MV)의 x 좌표, yi는 모션 벡터(MV)의 y 좌표를 지칭한다. 여기서, 실시예에 의할 때, 상기 모션 활동도는 프레임에 대응하는 모션 벡터의 평균값을 산출할 수 있다.Here, MA denotes a motion activity, N denotes the number of macroblocks corresponding to the frame, X i denotes the x coordinate of the motion vector MV, and y i denotes the y coordinate of the motion vector MV. Here, according to the embodiment, the motion activity may calculate an average value of the motion vector corresponding to the frame.
도 2는 Akiyo 이미지의 프레임별 모션 활동도가 표시되어 있고, 프레임 단위로 모션 추정 과정에 스킵 여부를 선택하기 위해서 임계값 T가 표시되어 있다. 여기서, 상기 임계값은 비디오 영상에서 ME의 생략 비율을 조절할 수 있는 필수 요소이다.FIG. 2 shows the motion activity of each frame of the Akiyo image, and the threshold value T is selected to select whether to skip the motion estimation process on a frame basis. Here, the threshold is an essential element that can adjust the skip rate of the ME in the video image.
선택적 모션 추정 동작 순서 및 구성Selective Motion Estimation Sequence and Configuration
본 발명은 MEMC 과정에 대하여 기존 알고리즘 또는 향후 개발될 알고리즘에 적용되어 사용될 수 있다. 예를 들어, 이러한 알고리즘 중 최선의 성능을 지닌 비디오 부호화기에 적용하면서, 경우에 따라 ME과정을 생략하여 추가적으로 복잡도를 상당 부분 감소시킬 수 있다. 또한, 본 발명은 부호화 부분의 복잡도를 가변적으로 감소시킴으로써, 사용자가 원하는 대로 부호화 실행 시간을 조절할 수 있고, 그리 하여 다양한 환경에서 적당한 화질을 제공하면서 실시간 비디오 부호화를 가능하도록 구현할 수 있다. 이하, 도 3a에서는 선택적 모션 추정 방법을 설명하고, 도 3b에서는 선택적 모션 추정 장치를 설명하기로 한다.The present invention can be applied to an existing algorithm or a future algorithm for a MEMC process. For example, while applying to the video encoder with the best performance among these algorithms, in some cases the ME process can be omitted to further reduce the complexity. In addition, the present invention can variably reduce the complexity of the encoding part, thereby adjusting the encoding execution time as desired by the user, thereby realizing the real-time video encoding while providing appropriate image quality in various environments. Hereinafter, the selective motion estimation method will be described in FIG. 3A, and the selective motion estimation apparatus will be described in FIG. 3B.
도 3a는 본 발명의 바람직한 실시예에 따른 선택적 모션 추정(SME, Selective Motion Estimation)의 순서도를 나타낸 도면이다.FIG. 3A illustrates a flowchart of Selective Motion Estimation (SME) according to a preferred embodiment of the present invention.
본 발명은 사용자가 기존 또는 향후 개발될 부호화 방식에 적용할 수 있으므로, 알고리즘을 교환할 필요성이 없다. 이하, PMVFAST와 연계하여 동작하는 경우를 기준으로 설명하기로 한다.The present invention can be applied to existing or future coding schemes, so there is no need to exchange algorithms. Hereinafter, a description will be given based on the case of operating in conjunction with PMVFAST.
단계 S310에서 현재 부호화할 프레임에 대응하는 스킵 정보를 추출한다. 여기서, 스킵 정보는 상기 부호화할 프레임에 대하여 본 발명에 따르는 선택적 모션 추정 방법을 적용할지 여부에 대한 정보를 지칭하며, 이전 프레임이 모션 추정을 스킵한 경우에는 현재 프레임에 대하여는 선택적 모션 추정 방법을 적용하지 아니하고, 이전 프레임이 모션 추정을 스킵하지 않은 경우에는 현재 프레임에 대하여는 선택적 모션 추정 방법을 적용하도록 구성된다. 단계 S320에서, 상기 기준에 따라 선택적 모션 추정 방법을 적용할지 여부를 판단한다.In step S310, skip information corresponding to a frame to be currently encoded is extracted. Here, the skip information refers to information about whether to apply the selective motion estimation method according to the present invention with respect to the frame to be encoded. When the previous frame skips motion estimation, the selective motion estimation method is applied to the current frame. Otherwise, if the previous frame did not skip motion estimation, the selective motion estimation method is applied to the current frame. In step S320, it is determined whether to apply a selective motion estimation method according to the criterion.
선택적 모션 추정 방법을 적용하는 경우, 단계 S330에서 이전 프레임(즉, 현재 부호화할 프레임의 직전 프레임)에 대하여 산출한 모션 활동도를 추출하고, 단계 S340에서 상기 모션 활동도를 미리 설정된 임계값과 비교하여 모션 추정 스킵 조건을 만족하는지 여부를 판단한다. 즉, 모션 추정의 스킵 여부를 결정하기 위하여, 프레임에 대하여 미리 산출한 모션 활동도와 임계값을 비교하여 미리 설정된 모션 추정 스킵 조건을 만족하는지 여부를 판단한다. 바람직한 실시예에 따른 모션 추정 스킵 조건은 모션 활동도가 임계값보다 적은 경우(MA < T), 적거나 같은 경우(MA ≤ T) 등을 포함할 수 있다.When the selective motion estimation method is applied, the motion activity calculated for the previous frame (that is, the frame immediately before the frame to be currently encoded) is extracted in step S330, and the motion activity is compared with a preset threshold in step S340. It is determined whether the motion estimation skip condition is satisfied. That is, in order to determine whether to skip the motion estimation, the motion activity and the threshold calculated in advance for the frame are compared to determine whether the predetermined motion estimation skip condition is satisfied. The motion estimation skip condition according to the preferred embodiment may include a case in which the motion activity is less than the threshold (MA <T), less than or equal to (MA ≦ T), and the like.
단계 S340에서 모션 추정 스킵 조건을 만족하는 경우, 모션 추정을 스킵하고, 이후 프레임(즉, 현재 부호화할 프레임의 직후 프레임)에 대하여 본 발명에 따른 선택적 모션 추정 방법을 적용하도록 스킵 정보를 할당한다.If the motion estimation skip condition is satisfied in step S340, the motion estimation is skipped, and skip information is allocated to apply the selective motion estimation method according to the present invention to a subsequent frame (that is, a frame immediately after the frame to be currently encoded).
단계 S320에서 본 발명에 따른 선택적 모션 추정 스킵 방법을 적용하지 아니하거나, 단계 S340에서 모션 추정 스킵 조건을 만족하지 아니하는 경우, 단계 S360으로 진행하여 미리 설정된 알고리즘에 따라 모션 추정을 수행한다, 여기서, 모션 추정을 수행하면서, 상기 수학식 1에 따른 모션 활동도를 산출한다, 상기 모션 활동도는 이후 프레임에 대하여 모션 추정 스킵 여부를 결정하기 위하여 사용될 수 있다.If the selective motion estimation skip method according to the present invention is not applied in step S320 or if the motion estimation skip condition is not satisfied in step S340, the process proceeds to step S360 to perform motion estimation according to a preset algorithm. While performing the motion estimation, a motion activity according to
상술한 단계를 거친 후, 단계 S380에서 미리 설정된 알고리즘에 따라 모션 보상 과정을 수행함으로써, 프레임 단위별 부호화를 수행할 수 있다. 즉, 본 발명은 도 2에서 이전 프레임의 모션 활동도가 미리 설정된 임계값 T 보다 작은 경우, 현재 프레임의 모션 추정 과정을 생략하고, 그 외의 경우에는 미리 설정된 모션 추정 알고리즘(PMVFAST)을 실행한다. 여기서, 모션 추정의 스킵 비율(또는 생략 비율)은 임계값에 따라 결정된다. 임계값이 높으면 모션 추정 과정이 생략되는 프레임의 수가 증가하고, 상기 임계값이 낮으면, 역으로 모션 추정 과정이 생략되는 프레임의 수가 감소한다. 그 결과, 사용자는 적정 수준의 이미지 화질을 유지하면서 부호화 복잡도를 조절할 수 있다.After going through the above-described steps, by performing a motion compensation process according to the algorithm set in advance in step S380, it is possible to perform encoding for each frame unit. That is, when the motion activity of the previous frame is smaller than the preset threshold T in FIG. 2, the present invention skips the motion estimation process of the current frame, and otherwise executes the preset motion estimation algorithm PMVFAST. Here, the skip ratio (or skip ratio) of the motion estimation is determined according to the threshold. If the threshold value is high, the number of frames for which the motion estimation process is skipped increases. If the threshold value is low, the number of frames for which the motion estimation process is skipped decreases. As a result, the user can adjust the coding complexity while maintaining an appropriate level of image quality.
도 3b는 본 발명의 바람직한 실시예에 따른 선택적 모션 추정 장치의 구성을 도시한 도면이다. 3B is a diagram illustrating a configuration of an optional motion estimation apparatus according to a preferred embodiment of the present invention.
도 3b를 참조하면, 선택적 모션 추정 장치(300)는 기존 또는 향후 개발될 모션 추정/보상 장치(200)에 결합되어 있으며, 상기 모션 추정/보상 장치(200)는 모션 추정부(210) 및 모션 보상부(220)를 포함할 수 있다.Referring to FIG. 3B, the selective
본 발명에 따른 선택적 모션 추정 장치(300)는 스킵 정보 추출부(310), 적용 판단부(320), 스킵 판단부(330), 모션 활동도 산출부(340), 스킵 정보 할당부(350) 및 임계값 설정부(360)를 포함할 수 있다.The selective
스킵 정보 추출부(310)는 현재 부호화할 프레임에 대응하는 스킵 정보를 추출하고, 적용 판단부(315)는 상기 스킵 정보를 이용하여 선택적 움직임 추정 방법을 적용할지 여부를 판단할 수 있다. 여기서, 스킵 정보는 상기 부호화할 프레임에 대하여 본 발명에 따는 선택적 모션 추정 방법을 적용할지 여부에 대한 정보를 지칭하며, 이전 프레임이 모션 추정을 스킵한 경우에는 현재 프레임에 대하여는 선택적 모션 추정 방법을 적용하지 아니하고, 이전 프레임이 모션 추정을 스킵하지 않은 경우에는 현재 프레임에 대하여는 선택적 모션 추정 방법을 적용하도록 구성된다. The skip
모션 활동도 추출부(320)는 선택적 모션 추정 방법을 적용하는 경우, 이전 프레임(즉, 현재 부호화할 프레임의 직전 프레임)에 대하여 산출한 모션 활동도를 추출하고, 스킵 판단부(330)는 상기 모션 활동도를 미리 설정된 임계값과 비교하여 모션 추정 스킵 조건을 만족하는지 여부를 판단한다.When the
모션 활동도 산출부(340)는 본 발명에 따른 선택적 모션 추정 스킵 방법을 적용하지 아니하거나, 모션 추정 스킵 조건을 만족하지 아니하는 경우, 미리 설정된 알고리즘에 따라 모션 추정을 수행하는 경우, 미리 설정된 모션 활동도를 산출한다.If the motion
스킵 정보 할당부(360)는 모션 추정을 스킵하는 경우, 이후 프레임(즉, 현재 부호화할 프레임의 직후 프레임)에 대하여 본 발명에 따른 선택적 모션 추정 방법을 적용하지 아니하고, 모션 추정을 수행한 경우, 이후 프레임에 대하여 선택적 모션 추정 방법을 적용하도록 스킵 정보를 할당하는 기능을 수행한다.When the
그리고 임계값 설정부(360)는 미리 설정된 기준 또는 사용자의 설정에 따라 임계값을 설정하는 기능을 수행할 수 있다.In addition, the
성능 및 속도 비교Performance and speed comparison
모션 추정(ME)은 MPEG-1, MPEG-2, MPEG-4와 같은 압축 표준에서 비디오 영상의 시간적인 중복 데이터를 제거하기 위해 일반적으로 사용되는 방법이다. 비디오 부호화 시 움직임 예측과 움직임 보상(MEMC)은 전체 복잡도의 60 내지 80%를 차지하나, 상당한 비디오 압축 효과 때문에 피할 수 없는 핵심 부분으로 자리 잡고 있다. 본 발명은 적절한 화질을 유지하면서 복잡도를 줄일 수 있는 방법 및 장치를 제안하며, 이하 도4 내지 도 8을 참조하여 본 발명의 성능 및 속도를 종래 기술과 비교하여 설명하기로 한다.Motion estimation (ME) is a method commonly used to remove temporal redundant data of video images in compression standards such as MPEG-1, MPEG-2, MPEG-4. In video coding, motion prediction and motion compensation (MEMC) account for 60 to 80% of the overall complexity, but are becoming an integral part of the inevitable because of the significant video compression effects. The present invention proposes a method and apparatus that can reduce the complexity while maintaining an appropriate image quality, and the performance and speed of the present invention will be described below with reference to the prior art with reference to FIGS.
도 4는 본 발명의 바람직한 실시예에 따른 아키오 영상에 대한 RD(Rate Distortion)그래프를 나타낸 도면이고, 도 5는 본 발명의 바람직한 실시예에 따른 스테판 영상의 SME 생략 비율에 따른 RD 그래프를 나타낸 도면이다. 여기서, 테스트 영상으로 아키오 영상 또는 스테판 영상을 기준으로 설명하였으나, 그 외의 동영상에서도 동일 또는 유사한 효과를 제공할 수 있다.4 is a diagram illustrating a rate distortion (RD) graph for an Akio image according to an exemplary embodiment of the present invention, and FIG. 5 is a diagram illustrating an RD graph according to an SME omission ratio of a Stefan image according to an exemplary embodiment of the present invention. to be. Here, although the test image is described based on the Akio image or the Stefan image, other videos may provide the same or similar effects.
도 4를 참조하면, 100개의 프레임을 가진 아키오 영상의 RD (Rate Distortion) 그래프를 보여준다. 여기서, 복잡도를 줄이기 위해 대략 50% 정도 ME과정을 생략했다. 생략 비율은 사용자가 설정한 임계값 T에 의해 결정된다. 전체 이미지에서는 적당한 PSNR (Peak Signal to Noise Ratio) 성능을 유지하면서, ME과정이 생략된 이미지에서는 화질이 갑자기 떨어짐을 알 수 있으나, 연속된 동영상에 있어서, 사용자의 시각으로 상기 화질 차이가 크게 인식되지 않는다.Referring to FIG. 4, an RD (Rate Distortion) graph of an Akio image having 100 frames is shown. Here, the ME process is omitted about 50% to reduce the complexity. The omission rate is determined by the threshold value T set by the user. While maintaining the proper PSNR (Peak Signal to Noise Ratio) performance in the entire image, it can be seen that the image quality suddenly drops in the image where the ME process is omitted, but in the continuous video, the difference in the image quality is not recognized by the user's perspective. Do not.
도 5를 참조하면, 다양한 생략 비율에 따른 RD 그래프를 도시하고 있다. 생략 비율이 높으면, 하기의 표 1에서처럼 PSNR은 떨어지지만 복잡도가 감소하며, 약간의 화질 열화를 발생한다. 여기서, 사용자는 유동적인 방법으로 선택적 모션 추정 장치의 부호화 속도를 조절할 수 있다.Referring to FIG. 5, RD graphs according to various omission ratios are illustrated. If the omission ratio is high, the PSNR falls as shown in Table 1 below, but the complexity decreases, and a slight deterioration in image quality occurs. Here, the user may adjust the encoding speed of the selective motion estimation apparatus in a flexible manner.
본 발명은 부호화 복잡도를 조절하여 다양한 환경에서 실시간 비디오 부호화 서비스를 실행 가능하게 한다. 본 발명은 부호기의 실행 시간과 화질 왜곡 비교를 통해 복잡도 감소와 화질에 대한 결과를 보여준다. 본 발명의 ME방법으로 PMVFAST를 사용하여 일반 알고리즘에 비해 계산 복잡도를 더 줄일 수 있다.The present invention adjusts the coding complexity to enable real-time video encoding services in various environments. The present invention shows the result of the complexity reduction and the image quality by comparing the execution time of the encoder and the image quality distortion. By using PMVFAST as the ME method of the present invention, computational complexity can be further reduced compared to general algorithms.
도 6은 본 발명의 바람직한 실시예에 따른 아키오 영상의 MPEG-4 ref. S/W, 전체 ME 과정 생략, intra coding, MVFAST, PMVFAST, SME의 경우의 RD 그래프이고, 도 7은 본 발명의 바람직한 실시예에 따른 포맨 영상의 MPEG-4 ref. S/W, 전체 ME 과정 생략, intra coding, MVFAST, PMVFAST, SME의 경우 RD 그래프이다. 상기 도 6 및 도 7을 참조하면, 50%의 생략 비율을 가질 때, 율 왜곡(Rate Distortion) 상태가 도시되어 있다. 여기서, 테스트 영상으로 아키오 영상 또는 포맨 영상을 기준으로 설명하였으나, 그 외의 동영상에서도 동일 또는 유사한 효과를 제공할 수 있다.6 illustrates MPEG-4 ref. Of an Akio image according to a preferred embodiment of the present invention. S / W, omitting the entire ME process, intra coding, MVFAST, PMVFAST, RD graph in the case of SME, Figure 7 is a MPEG-4 ref of the four-man image according to a preferred embodiment of the present invention. R / D graph for S / W, total ME process skip, intra coding, MVFAST, PMVFAST, SME. Referring to FIGS. 6 and 7, a rate distortion state is illustrated when having a 50% skip rate. Here, although the test image is described based on the Akio image or the four-man image, the same or similar effect may be provided in other videos.
하기의 표 2는 다양한 테스트 동영상에 대하여 상기 각 경우(MPEG-4 ref. S/W, MVFAST, PMVFAST, SME(50%))에 따라 실행 시간을 도시한 표이다. 상기 표 2를 참조하면, 부호화 실행 시간이 획기적으로 감소함을 알 수 있다.Table 2 below shows execution times of various test videos according to each case (MPEG-4 ref. S / W, MVFAST, PMVFAST, SME (50%)). Referring to Table 2, it can be seen that the encoding execution time is significantly reduced.
도 8은 본 발명의 바람직한 실시예에 따른 아키오 영상의 ME 과정이 생략된 첫 째 이미지를 도시한 도면이다.8 is a diagram illustrating a first image in which an ME process of an Akio image is omitted according to an exemplary embodiment of the present invention.
도 8을 참조하면, (a)의 원영상에 비하여 (b)의 선택적 모션 추정 스킵을 적용한 영상이 약간의 화질 열화를 확인할 수 있으나, 이는 정지 영상으로 인하여 시각적으로 확인 가능한 열화이다. 본 발명에 따른 모션 추정 스킵은 연속적으로 발생하지 아니하며, 연속된 동영상을 대상으로 하므로 동영상을 시청하면서 정지 영상과 같은 화질 열화를 시각적으로 감지하기는 어렵다.Referring to FIG. 8, the image to which the selective motion estimation skip of (b) is applied may be slightly deteriorated compared to the original image of (a). However, this is a visually identifiable degradation due to the still image. The motion estimation skip according to the present invention does not occur continuously, and it is difficult to visually detect image quality deterioration such as a still image while watching a moving picture because the moving picture is targeted.
본 발명의 기술 사상이 상술한 실시예에 따라 구체적으로 기술되었으나, 상기한 실시예는 그 설명을 위한 것이며 그 제한을 위한 것이 아니며, 본 발명의 기술 분야의 통상의 전문가라면 본 발명의 기술 사상의 범위 내에서 다양한 실시예가 가능함을 이해할 수 있을 것이다.Although the technical idea of the present invention has been described in detail according to the above-described embodiment, the above-described embodiment is for the purpose of description and not of limitation, and a person of ordinary skill in the art of the present invention It will be understood that various embodiments are possible within the scope.
본 발명은 미리 설정된 임계값을 기준으로 모션 추정 스킵 여부를 결정하여 선택적으로 모션 추정을 수행할 수 있는 효과가 있다. 즉, 본 발명은 선택적으로 ME를 각 이미지 마다 적용하여, 복잡한 MEMC 과정을 최소화함으로써, 다양한 환경에서 실시간 비디오 부호화 서비스를 실행할 수 있는 효과를 제공할 수 있다. 본 발명의 실험 결과에 따르면, ME 과정을 최소화함으로써, MPEG-4 ref. S/W의 복잡도를 55-75 퍼센트 줄일 수 있으며, 복잡도 측면에서 좋은 성능을 보이는 PMVFAST 방법보다 복잡도를 더 줄일 수 있다. The present invention has the effect of selectively performing motion estimation by determining whether to skip motion estimation based on a predetermined threshold value. That is, the present invention can selectively apply ME to each image, thereby minimizing a complicated MEMC process, thereby providing an effect of executing a real-time video encoding service in various environments. According to the experimental results of the present invention, by minimizing the ME process, MPEG-4 ref. S / W complexity can be reduced by 55-75 percent, and complexity can be further reduced than PMVFAST method, which performs well in terms of complexity.
또한, 본 발명은 약간의 화질 열화를 발생하면서 부호화 실행 시간을 유동적으로 조절할 수 있는 효과도 있다.In addition, the present invention also has the effect of flexibly adjusting the encoding execution time while generating a slight deterioration in image quality.
또한, 본 발명은 비디오 프레임 중 모션이 적은 프레임을 선택하여 ME과정을 생략함으로 복잡도를 감소시켜, 다양한 각 분야의 요구 사항에 맞춰 비디오의 부호화가 가능하게 함으로써, 산업 전반에 유용하게 쓰일 수 있는 효과가 있다.In addition, the present invention is to reduce the complexity by selecting a frame with less motion in the video frame to skip the ME process, to enable the encoding of the video according to the requirements of various fields, the effect that can be useful throughout the industry There is.
또한, 본 발명은 핸드폰과 같은 저전력을 요구하는 산업 분야에서 부호화기의 낮은 복잡도를 요구에 부응하여, 다양한 환경, 다양한 분야에서 원하는 복잡도를 가진 비디오 부호화를 구현할 수 있는 효과도 있다.In addition, the present invention has the effect of implementing the video encoding having the desired complexity in a variety of environments, various fields in response to the low complexity of the encoder in the industrial field requiring a low power, such as a mobile phone.
또한, 본 발명은 부호화기의 복잡도를 가변적으로 줄임으로 인해 필요에 따라 부호화 실행 시간을 조절 할 수 있고, 휴대 할 수 있는 작은 기계-핸드폰이나 PDA-을 위한 비디오 실시간 부호화를 할 수 있는 효과도 있다.In addition, the present invention can variably reduce the complexity of the encoder so that the encoding execution time can be adjusted as needed, and video real-time encoding for a portable small machine-a mobile phone or a PDA-can be achieved.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although the above has been described with reference to a preferred embodiment of the present invention, those skilled in the art to which the present invention pertains without departing from the spirit and scope of the present invention as set forth in the claims below It will be appreciated that modifications and variations can be made.
Claims (10)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020040070602A KR100628333B1 (en) | 2004-09-04 | 2004-09-04 | Method and device for providing selective motion estimation for fast video encoding |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020040070602A KR100628333B1 (en) | 2004-09-04 | 2004-09-04 | Method and device for providing selective motion estimation for fast video encoding |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20060021733A KR20060021733A (en) | 2006-03-08 |
| KR100628333B1 true KR100628333B1 (en) | 2006-09-27 |
Family
ID=37128515
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020040070602A KR100628333B1 (en) | 2004-09-04 | 2004-09-04 | Method and device for providing selective motion estimation for fast video encoding |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100628333B1 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100870554B1 (en) * | 2007-01-08 | 2008-11-27 | 한양대학교 산학협력단 | Motion compensated temporal filtering method for efficient wavelet-based scalable video coding and record-medium for executing method thereof |
| KR100847517B1 (en) * | 2007-03-20 | 2008-07-22 | 한양대학교 산학협력단 | Apparatus for motion estimator, method therefor, and recording medium storing a program to implement thereof |
| KR100954884B1 (en) * | 2009-10-29 | 2010-04-28 | 주식회사 힘스코리아 | Image binarization device |
-
2004
- 2004-09-04 KR KR1020040070602A patent/KR100628333B1/en not_active IP Right Cessation
Also Published As
| Publication number | Publication date |
|---|---|
| KR20060021733A (en) | 2006-03-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100957316B1 (en) | Mode selection techniques for multimedia coding | |
| JP5318561B2 (en) | Content classification for multimedia processing | |
| KR101032587B1 (en) | Adaptive video frame interpolation | |
| JP4536325B2 (en) | Image processing apparatus and method, recording medium, and program | |
| US8437397B2 (en) | Block information adjustment techniques to reduce artifacts in interpolated video frames | |
| US20070098067A1 (en) | Method and apparatus for video encoding/decoding | |
| KR100560843B1 (en) | Method and Apparatus for Determining Search Range for Adaptive Motion Vector for Use in Video Encoder | |
| Ramezanpour Fini et al. | Two stage fast mode decision algorithm for intra prediction in HEVC | |
| US20160057415A1 (en) | Image encoding method, image encoding apparatus, and related encoding medium, image decoding method, image decoding apparatus, and related decoding medium | |
| CN114339218A (en) | Image encoding method, image encoding device, electronic apparatus, and readable storage medium | |
| KR100856392B1 (en) | Video Encoding and Decoding Apparatus and Method referencing Reconstructed Blocks of a Current Frame | |
| JP5649296B2 (en) | Image encoding device | |
| KR100628333B1 (en) | Method and device for providing selective motion estimation for fast video encoding | |
| Pan et al. | Predictive and distribution-oriented fast motion estimation for H. 264/AVC | |
| KR100978596B1 (en) | Motion estimation procedure by fast multiple reference frame selection procedure | |
| Seiler et al. | Spatio-temporal prediction in video coding by non-local means refined motion compensation | |
| US10148954B2 (en) | Method and system for determining intra mode decision in H.264 video coding | |
| KR100987581B1 (en) | Method of Partial Block Matching for Fast Motion Estimation | |
| De Pascalis et al. | Fast motion estimation with size-based predictors selection hexagon search in H. 264/AVC encoding | |
| KR20070090494A (en) | Inter frame error concealment method and apparatus using the average motion vector | |
| EP1921866A2 (en) | Content classification for multimedia processing | |
| Ismail et al. | A generalized fast motion estimation algorithm using external and internal stop search techniques for H. 264 video coding standard | |
| TWI477152B (en) | Method for determining size of adaptive window applied in motion estimation and application thereof | |
| Jha et al. | Motion estimation algorithms for baseline profile of H. 264 video codec | |
| KR100413002B1 (en) | Apparatus and method for block matching by using dispersed accumulate array in video coder |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20110711 Year of fee payment: 6 |
|
| FPAY | Annual fee payment |
Payment date: 20120710 Year of fee payment: 7 |
|
| LAPS | Lapse due to unpaid annual fee |