KR100239867B1 - Method of compressing solid moving picture for controlling degradation of image quality in case of applying motion estimation and time difference estimation - Google Patents
Method of compressing solid moving picture for controlling degradation of image quality in case of applying motion estimation and time difference estimation Download PDFInfo
- Publication number
- KR100239867B1 KR100239867B1 KR1019960047392A KR19960047392A KR100239867B1 KR 100239867 B1 KR100239867 B1 KR 100239867B1 KR 1019960047392 A KR1019960047392 A KR 1019960047392A KR 19960047392 A KR19960047392 A KR 19960047392A KR 100239867 B1 KR100239867 B1 KR 100239867B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- prediction
- compressing
- compression
- quality
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
본 발명은 입체동영상의 압축시 움직임예측을 사용함으로써 발생하는 GOP 내의 예측오차누적현상과, 획득영상에 신호특성의 급격한 변환이 존재할 때 발생하는 재현영상의 화질 열화를 미연에 방지하기 위해 안출된 입체영상의 압축방법으로서, 본 발명은 움직임예측에 의해 입체영상신호를 압축함에 있어서, 움직임예측을 사용함에 따른 GOP 중반 이후의 예측오차 누적현상 또는 획득영상에 신호특성의 급격한 변환이 존재할 때 발생하는 재현영상의 화질열화를 줄이기 위해서, 시차가 다른 각도에서 획득된 입체영상들을 기준영상열과 예측영상열로 구분하는 1단계와; 기준 영상열은 종래의 움직임 예측방식에 의하여 압축하며, 예측영상열은 기준영상열을 기준으로한 시차예측을 포함하여 압축토록 하는 2단계와; 상기 단계에서 상술된 원인에 의해 예상되는 화질열화를 줄이기 위해 압축비트 할당량 증대(압축을 감소), 인트라압축 등을 설정된 GOP 사이의 해당하는 예측 영상에 적용하여 해당예측영상의 화질을 개선하며 개선된 예측영상을 기준으로 해당위치의 기준영상을 시차예측하여 이후의 기준영상열과 예측영상열의 화질을 개선 시키는 GOP 구조를 설정하여 압축하는 3단계를 포함시킴으로써 풍부하고 생동감있는 화질이 보장되어 고품질 3차원 입체 영상서비스가 기대된다.In order to prevent the degradation of the quality of the reconstructed image which occurs when there is a prediction error accumulation phenomenon in a GOP generated by using motion prediction when compressing stereoscopic moving images and when there is a sudden conversion of signal characteristics in an acquired image, The present invention relates to a method for compressing a stereoscopic image signal by motion prediction and a method for compressing a stereoscopic image signal by using a motion prediction method, A first step of dividing stereoscopic images acquired at different angles of parallax into a reference image sequence and a prediction image sequence to reduce image deterioration of an image; A second step of compressing the reference image sequence by a conventional motion prediction method and compressing the prediction image sequence by including a parallax prediction based on a reference image sequence; In order to reduce the deterioration of image quality expected due to the above-mentioned causes in the above step, enhancement of the compression bit allocation amount (compression reduction) and intra compression are applied to the corresponding prediction image between the set GOPs, And a GOP structure for improving the image quality of the reference image sequence and the predicted image sequence is set by compressing the reference image of the corresponding position on the basis of the predicted image, thereby ensuring a rich and vivid image quality, Video services are expected.
Description
본 발명은 움직임과 시차예측을 이용하여 디지탈 입체동영상 신호를 압축하는 경우 재현영상의 화질을 향상시키기 위한 압축방식에 관한 것으로, 입체 동영상의 압축시 움직임 예측을 사용하므로써 발생하는 GOP(Group of Picture)내의 예측 오차 누적현상과, 획득영상에 신호특성의 급격한 변환이 존재할 때 발생하는 재현 영상의 화질열화를 미연에 방지하기 위한 것이다.The present invention relates to a compression method for improving the quality of a reconstructed image when compressing a digital stereoscopic moving image signal using motion and time difference prediction, and more particularly, to a GOP (Group of Picture) And deterioration of the image quality of the reproduced image which occurs when there is a sudden conversion of the signal characteristic to the acquired image is prevented in advance.
인간이 살아가면서 취득하는 정보의 80% 이상은 대부분 시각을 통해서 획득되고 시각을 통해서 정보를 전달하는 방법은 인간에게 가장 친숙한 정보획득의 수단이며, 대량의 정보를 짧은시간에 전달 할 수 있다는 장점이 있다.More than 80% of the information acquired by human beings is acquired through time, and the method of transmitting information through vision is the most familiar means of acquiring information, and it is advantageous to transmit a large amount of information in a short time have.
이러한 영상정보의 전달수단으로 개발된 것이 영상매체이며, 영상매체의 개발은 주로 인간에게 자연스럽게 인식되고 사실적으로 표현할 수 있는 기능들을 포함시키는 방향으로 진행되어 왔으며, 장래의 영상매체도 이러한 기능을 추구하게 될 것이다.The development of image media has been developed as a means of delivering such image information, and the development of image media has mainly been carried out to include functions that can be recognized naturally by human beings and can be expressed realistically. Future image media also pursue such functions Will be.
지금까지 개발/발전되어 그 응용이 주를 이루고 있는 2차원 영상매체들 보다 사실적이고 풍부한 화질을 제공할 수 있기 때문에, 3차원 영상매체는 다음 세대의 중요한 영상매체로 각광받으면서 많은 연구가 수행되고 있으며 현재 3 차원 영상처리 기술을 응용한 매체는 주로 편광안경을 사용한 입체영화, 가상현실(VR:virtual reality)게임 등을 예로 들 수 있는 한편 의료, 측량 등의 정밀한 영상 데이터가 필요한 부분에서도 제한적으로 사용되고 있다.Since the developed / developed so far can provide a more realistic and rich image quality than the two-dimensional image media in which the application is dominant, the 3D image medium is being watched as an important image medium of the next generation, Currently, media using 3D image processing technology are mainly used for stereoscopic movies using polarized glasses, virtual reality (VR) games and the like, but also for parts where precise image data such as medical care and measurement are required have.
특히 최근에 개발되어 서비스 중인 고화질 텔레비젼(HDTV)이후의 텔레비젼은 3차원 텔레비젼(TV)이 될 것으로 예상되며, 이 기술이 실용화 될 경우는 그 기술적 파급효과가 가전은 물론 통신, 우조, 항공, 예술, 자동차 산업 등 모든 분야에 영향을 미치게 될 것이다.Especially, it is expected that TV after high-definition TV (HDTV), which is being developed and serviced recently, will become a 3D TV (TV). If this technology is put into practical use, its technical ripple effects will be applied to home appliances, , The automobile industry, and so on.
그러나 영상데이타는 정보량이 크기 때문에 저장과 전송에 어려움이 따르게 되며 1990년대에 들어서 전자기술의 비약적인 발전으로 대용량의 하드디스크나, 데이터의 처리속도가 빠른 프로세서가 등장하여 저장매체의 용량과 데이터에의 접근 속도면에서 많은 향상이 있었지만, 영상데이타와 같은 많은 데이터를 실제 사용자 에게 전송할 때, 현재까지 개발된 정보전송 선로를 활용하기에는 부족한 점이 많을 뿐만 아니라 많은 분야에서 동영상 서비스의 제공 필요성이 증가함에 따라 더많은 데이터를 저장할 수 있는 저장매체가 필요하게 되었고, 보다 빠르게 작동하는 프로세서가 요구되기에 이르렀다.However, due to the large amount of information, the image data is difficult to be stored and transferred. In the 1990s, due to the rapid development of electronic technology, a large-capacity hard disk or a processor with high data processing speed has appeared. Although there have been many improvements in terms of access speed, when transmitting a large amount of data such as image data to actual users, it is not sufficient to utilize the information transmission line developed up to now. In addition, as the necessity of providing video service in many fields increases, A storage medium capable of storing data has become necessary, and a processor that operates faster has been required.
영상데이터를 처리함에 있어서 나타나는 이러한 문제점들을 해결하기 위한 다른 방법으로 데이터 압축기술이 요구되어, VQ, JPEG, JBIG, MPEG1, MPEG2, H.261, H.262 등의 다양한 압축방식이 개발되었고 현재도 MPEG4, MHEG 등 많은 연구가 수행되고 있으며 이러한 방식들은 반도체칩으로 구현하기가 유리한 이산여현 직교변환 (discrete cosine transform;DCT)과 양자화를 기반으로하는 차등펄스부호 변조방식(DPCM)을 채택하고 있는 것이 보통이다.Various compression schemes such as VQ, JPEG, JBIG, MPEG1, MPEG2, H.261, and H.262 have been developed as data compression techniques as another method for solving these problems in processing image data. MPEG4, MHEG, and so on. Many of these schemes have adopted a discrete cosine transform (DCT) and a differential pulse code modulation (DPCM) method based on quantization, is average.
보통 영상신호는 도3에서 보는 바와 같이 일반적으로 이산여현변환(DCT) 등의 직교변환과 양자화에 의해서 영상신호(301)내에 자체적으로 존재하는 유사성(이하 중복성:redundancy)이라 함), 즉 공간중복성(spatial redundancy)을 변환 및 양자화부(302)에서 제거하게 되고, 양자화된 신호(303)는 허프만 방식, 산술 부호화 방식 등에 의하여 부호(code)를 할당하는 부호할당부(304)를 거쳐 압축된 신호(305)로 나타난다.As shown in FIG. 3, a normal video signal is generally referred to as redundancy (hereinafter referred to as redundancy) existing in the video signal 301 by orthogonal transformation such as DCT and quantization, that is, spatial redundancy the quantized signal 303 is transformed and quantized by the transformed and quantized signal 303 through the code allocation unit 304 that allocates a code according to a Huffman method or an arithmetic coding method, (305).
이때 부호할당은 정의된 부호할당표 등을 참조(이하 참조표: 일반적으로 공간중복성이 제거된 영상신호를 엔트로피 부호화(entropt encoding)함에 있어서, 양자화테이블, AC계수테이블 및 각 압축방식이 요구하는 파라미터들에 대한 약속으로 Look up table을 사용함)하여 수행되고 압축된 신호는 상기과정의 역과정을 거쳐서 복원되는데, 우선 압축된 신호(305)로부터 참조표를 이용하여 부호해석부(306)에서 부호를 해석(306)하므로써 양자화된 신호(307)를 생성하고 이를 역직교변환 및 역양자화부(308)를 거쳐 본래의 영상신호(309)로 복원한 후 수상기 등의 재생장치(310)를 이용하여 재현하게 된다.At this time, code allocation is performed by referring to a defined code allocation table or the like (hereinafter referred to as reference table: entropy encoding of a video signal in which spatial redundancy is removed), a quantization table, an AC coefficient table, And the compressed signal is reconstructed through an inverse process of the above process. First, the sign is analyzed by the sign analyzing unit 306 from the compressed signal 305 using a look-up table. The quantized signal 307 is generated by analyzing 306 and restored to the original video signal 309 through the inverse orthogonal transform and inverse quantization unit 308 and then reconstructed using the reproducing apparatus 310 such as a receiver .
일반적으로 역변환/역영자화부(308)를 거쳐 복원된 영상신호(309)는 양자화 등에 의하여 오염되므로 재현영상의 화질이 본래의 영상신호(301)화질보다 떨어지는 것이 보통이다.Generally, since the reconstructed image signal 309 through the inverse transform / inverse mapping unit 308 is contaminated by quantization or the like, it is common that the image quality of the reproduced image is lower than the image quality of the original image signal 301.
MPEG2는 기존의 MPEG1을 기반으로하여 매우 광범위한 응용영역을 지원할 수 있도록 MPEG이라 지칭되는 ITU-T(통신에 관한 국제표준화기구)의 비디오 전문가 그룹(SG-9)을 중심으로 개발된 동영상 압축방식으로 직교변환, 양자화, 움직임보상예측(MCP: Motion Compensated Prediction)등 MPEG1과 많은 점에서 유사성을 갖고 있으며 현재 이 두 방식은 상용화가 완료되어 많은 응용분야에 널리 보급되고 있는 실정이다.MPEG2 is a video compression method developed mainly by the Video Expert Group (SG-9) of ITU-T (International Organization for Communication Standardization) called MPEG to support a very wide range of applications based on existing MPEG1 And has many similarities with MPEG1, such as orthogonal transformation, quantization, and motion compensated prediction (MCP), and these two methods have been commercialized and widely used in many applications.
개발초기 MPEG2 는 MPEG1을 개선하여 10Mbps까지의 전송률을 갖는 알고리즘 개발을 목표로 출발하였으나, MPEG3가 그 이상의 전송률을 갖는 것으로 정의되므로써, MPEG2의 전송률에 대한 10Mbps의 제한이 없어지게됨에 따라 향후 예상되는 HDTV 까지도 포함하는 것으로 기능이 확장되어, 현재 개발되어 있는 CD-롬, DTV, EDTV, HDTV 등 거의 모든 영상매체에서 표준압축방식으로 채택되거나 채택예정으로 있다.In the early stage of development, MPEG2 aims to develop an algorithm having a transmission rate of up to 10Mbps by improving MPEG1. However, since MPEG3 is defined as having a higher transmission rate, the limitation of 10Mbps for the transmission rate of MPEG2 is eliminated, And it is expected to be adopted or adopted as a standard compression method in almost all image media such as CD-ROM, DTV, EDTV, and HDTV currently being developed.
영상데이타는 하나의 프레임내에 존재하는 공간중복성 외에도, 동영상일 경우는 시간적으로 인접한 영상간에도 상당한 유사성이 존재하는데 이를 시간중복성(temporal redundancy)이라고 하며, MPEG과 H.261 등의 일반적인 동영상 부호화방식은 효과적으로 영상의 중복성을 제거하고 고압축율을 실현하기 위해 DCT 등의 직교변환외에도 도4에서 보는 바와 같은 움직임 보상예측을 사용하여 시간중복성을 제거하고 있다.In addition to the spatial redundancy existing in one frame, the video data has considerable similarity between temporally adjacent images in the case of moving pictures. This is called temporal redundancy, and general video coding schemes such as MPEG and H.261 are effective In addition to the orthogonal transform such as DCT, in order to eliminate the redundancy of the image and achieve a high compression ratio, the time redundancy is removed by using the motion compensation prediction as shown in FIG.
움직임 보상예측 기법은 시간적으로 연속되는 영상신호(406 내지 407, 501내지 502, 503, 내지 504 등)간에 존재하는 중복성을 효과적으로 제거하여 영상데이타의 양을 대폭 줄이기 위한 것으로서, MPEG1, MPEG2, H.261, H.262(이하 MPEG, H.26x)등 동영상압축의 핵심기술이라고 할 수 있으며 정확하고 신속한 움직임 추정이 보장될 때 전체적인 동영상 압축성능을 향상시킬 수 있게 된다.The motion compensation prediction technique effectively eliminates redundancy existing between temporally successive video signals (406 to 407, 501 to 502, 503 to 504, and so on) to greatly reduce the amount of video data. 261 and H.262 (hereinafter, referred to as MPEG, H.26x), and it is possible to improve the overall video compression performance when accurate and fast motion estimation is guaranteed.
영상간의 정확안 움직임을 추정하기위한 방법으로는 일정한 블록별로 움직임을 예측하는 불록 정합방식(BMA : Block Matching Alogorithm), 화소값의 변화를 검출하여 움직임을 예측하는 화소순환(Pel-recursive)방식 등 많은 기법들이 있으나, 추정 알고리즘이 간단하고 하드웨어 구현이 용이하므로 MPEG, H.26x 등의 동영상압축 방법에서는 블록 정합 방식을 채택하고 있다.As a method for estimating the intra-image motion between images, there are a Block Matching Algorithm (BMA) for predicting a motion per a certain block, a Pel-recursive method for predicting motion by detecting a change in pixel value, and the like Although there are many techniques, the estimation algorithm is simple and the hardware implementation is easy. Therefore, the block matching method is adopted in the moving image compression method such as MPEG and H.26x.
블록 정합 방식은 움직임을 추정하고자 하는 예측영상(406)을 일정한 크기의 단위블록(401)으로 나눈 후, 각 블록을 기준영상(407)의 탐색영역(search range)내(405)에 있는 모든 블록(402 내지 403 등)과 비교하여, 평균제곱오차값(MSE, mean square error) 등의 기준에 따라 최적의 정합블록(matched block)을 찾으므로써 각 블록의 움직임값으로 정의하는 것이다.The block matching method divides a prediction image 406 to be motion-estimated by a unit block 401 of a predetermined size and then divides each block into all blocks in a search range 405 of the reference image 407 (402 to 403, and so on) to determine an optimal matched block according to a criterion such as a mean square error (MSE), thereby defining the matched block as a motion value of each block.
보통 움직임추정의 단위가 되는 블록을 마크로블럭(MB ; Macro Block, 401 내지 402)이라고 하며 예측영상의 마크로블럭과 동일한 위치를 중심으로 기준영상내의 일정한 범위(탐색범위 : 보통은 가로, 세로 각각 15∼30 화소 : 405)를 설정하고, 그 범위내에서 기준영상의 마크로블럭과 가장 유사한 데이터가 분포한 곳을 탐색하게 되며, 가장 유사한 지점이 찾아지면 기준영상의 마크로블럭 위치에서 그 지점까지의 영상의 움직임값(404)으로 정의하는데 이와같은 방식을 전탐색(full search)방식이라 한다.A block that is a unit of motion estimation is called a macro block (MB) (401 to 402), and a certain range in the reference image (search range: usually 15 30 pixels: 405), and searches for a location where data most similar to the macroblock of the reference image is distributed within the range. When the most similar point is found, the image from the position of the macroblock of the reference image to the point The motion vector 404 is defined as a full search method.
도5는 시간중복성 제거에 의해 동영상 압축을 수행하는 경우의 움직임예측 및 동영상압축단위(GOP; Group of Picture)의 설명도이다.5 is an explanatory diagram of a motion prediction and a moving picture compression unit (GOP) when moving picture compression is performed by eliminating time redundancy.
움직임 예측에는 보통 순방향예측(forward prediction : 506, 507)과 양방향예측(bidirectional prediction : 508)의 두가지 방식이 있으며, 전자를 수행하는 예측영상을 P-픽쳐(504), 후자의 경우를 B-픽쳐(502, 503)라 하고 P-픽쳐(504)는 예측을 수행함에 있어 보통은 I-픽쳐 또는 P-픽쳐 중 시간적으로 가장 앞선 영상을 기준영상(501)으로 하는 예측영상(504)을 칭하며 B-픽쳐(502, 503)는 I-픽쳐, 또는 P-픽쳐 중 시간적으로 가장앞선 영상(501)외에도 시간적으로 예측영상 이후에 획득된 영상(504)까지도 기준영상으로 참고하는 영상을 칭한다.There are two types of motion prediction, forward prediction (506, 507) and bidirectional prediction (508). A prediction image for performing the former is called a P-picture 504, (503) and a P-picture (504) is a predicted image (504), which is a reference image (501), which is the most temporally preceding picture among the I-picture or P- Pictures 502 and 503 refer to an image referred to as a reference image even to an image 504 obtained after a predicted image temporally in addition to a temporally preceding image 501 among I-pictures or P-pictures.
따라서 순방향예측(506)만을 하는 P-픽쳐 외에 순방향예측(507)과 역방향예측(508)을 포함한 양방향예측을 수행하는 B-픽쳐(502, 503 등)를 고려하는 MPEG, H.26x 등의 동영상 압축방식은 정확한 움직임 추정을 위해 많은 계산량이 필요하여 방송통신 등의 실시간 처리가 요구되는 응용에서 문제의 소지가 있지만 전자소자 및 마이크로프로세서의 발달로 그 한계가 극복되고 있다.Thus, in addition to the P-picture that only performs the forward prediction 506, a moving picture such as MPEG, H.26x, etc. that considers the B-picture 502, 503, etc. performing bidirectional prediction including the forward prediction 507 and the backward prediction 508 The compression method requires a large amount of calculation for precise motion estimation, which is problematic in applications requiring real-time processing such as broadcasting communications, but the limitations are overcome by the development of electronic devices and microprocessors.
P-픽쳐 및 B-픽쳐의 두 경우에 있어서 그 화질은 기준영상의 화질에 크게 영향을 받게 되므로 기준영상의 화질을 개선하면 P-픽쳐 및 B-픽쳐의 화질도 개선할 수 있으며 압축된 영상의 화질을 개선하는 일반적인 방법은 압축영상에 많은 비트가 할당되도록 하는 것이다.In both cases of the P-picture and the B-picture, the quality of the reference image is greatly influenced by the image quality of the reference image. Thus, if the quality of the reference image is improved, the quality of the P-picture and the B- A common way to improve image quality is to have many bits assigned to the compressed image.
한편 저장매체 등의 응용에서 원하는 영상데이타에 신속하게 접근하고(random access) 고속재생(FF : Fast Forward) 및 역탐색(FR : Fast Reverse)등에의 응용과 지속적인 예측수행에 의한 오류누적을 감소시키기 위해서는 주기적(509)으로 아무런 예측없이 영상내 중복성 제거만을 통해 압축할 필요가 있으며(505), 이렇게 예측없이 영상자체적으로 압축하는 영상들은 통틀어서 I-픽쳐(501 내지 502)라고 하고 이러한 압축방법을 "인트라압축"이라고 하며 I-픽쳐는 기존의 영상압축 방법과 유사하게 움직임 예측을 수행하지 않고 직교변환에 의한 공간중복성 제거 및 양자화 등만에 의해 압축을 수행하게 된다.On the other hand, in the application such as a storage medium, it is possible to quickly access desired image data (random access), to reduce the accumulation of errors due to application of fast forward (FF) and reverse search (FR) It is necessary to compress only the intra-image redundancy elimination 505 without any prediction in the periodic 509. The images that are compressed by the image itself without prediction are collectively referred to as I-pictures 501 to 502, Quot; intra compression ", and the I-picture performs compression by only removing spatial redundancy and quantization by orthogonal transformation without performing motion prediction similar to the conventional image compression method.
I-픽쳐(501)와 다음의 첫 번째 I-픽쳐(505)까지를 GOP(509)라고 하며 이는 움직임예측 및 동영상 압축의 단위가 되고 GOP는 P-픽쳐와 B-픽쳐의 배열형태에 따라 IBBP(M=3), IBP(M=2), IP(M=1) 형태로 구분되며 이 단위를 특히 부 GOP(510)라고하여 움직임 예측의 형식을 결정하는 기준으로 삼는다.The I-picture 501 and the next first I-picture 505 are referred to as a GOP 509, which is a unit of motion prediction and motion picture compression, and a GOP is a unit of an IBBP (M = 3), IBP (M = 2), and IP (M = 1), and this unit is referred to as a negative GOP (510).
한편 한 영상내에서도 마크로 블록별로 예측특성이 달라지며, 특히 영상내의 드러나는 영역(uncovered region)이나 움직임이 큰 마크로블록은 예측이 어렵기 때문에 예측없이 압축하게 되는데, I-픽쳐의 압축방법과 유사하기 때문에 이러한 마크로블럭을 인트라 마크로블럭(intra MB)이라고 한다.On the other hand, the prediction characteristics are different for each macroblock even in one image. Especially, uncovered region or macroblock with large motion is compressed without prediction because it is difficult to predict, which is similar to compression method of I-picture Such a macroblock is referred to as an intra macroblock (intra MB).
도5는 M=3(IBBP 구조)인 경우에 대한 GOP구조의 설명도로써, 각 픽쳐의 입력시간 순서는 설명도의 좌측픽쳐가 우선하고, MPEG, H.26x 등의 압축방법에서는 각 픽쳐는 I-픽쳐(501, 505), B-픽쳐(502, 503), P-픽쳐(504) 중 반드시 한가지의 예측형식을 취하게 된다.FIG. 5 is an explanatory diagram of a GOP structure for a case where M = 3 (IBBP structure). In the compression method such as MPEG, H.26x, etc., The I-pictures 501 and 505, the B-pictures 502 and 503, and the P-picture 504 must have one prediction format.
이렇게 MPEG에서는 압축하고자하는 동영상신호 열들의 움직임 예측형식(I, P, B-픽쳐)을 다르게 하므로써 영상의 부호화 순서가 영상의 입력 및 실제의 재생예측없이 영상자체적으로 압축하는 영상들을 통틀어서 I-픽쳐(501 내지 505)라고 하고 이러한 압축방법을 "인트라압축"이라고 하며 I-픽쳐는 기존의 영상압축 방법과 유사하게 움직임 예측을 수행하지 않고 직교변환에 의한 공간중복성 제거 및 양자화 등만에 의해 압축을 수행하게 된다.In MPEG, the motion prediction format (I, P, B-picture) of the video signal streams to be compressed is different, so that the encoding order of the video is the I-picture (501 to 505). Such a compression method is referred to as "intra compression ", and I-picture is compressed by only removing spatial redundancy and quantization by orthogonal transformation without performing motion prediction similar to the conventional image compression method .
I-픽쳐(501)와 다음의 첫 번째 I-픽쳐(505)까지를 GOP(509)라고 하며 이는 움직임예측 및 동영상 압축의 단위가 되고 GOP는 P-픽쳐와 B-픽쳐의 배열형태에 따라 IBBP(M=3), IBP(M=2), IP(M=1) 형태로 구분되며 이 단위를 특히 부 GOP(510)라고하여 움직임 예측의 형식을 결정하는 기준으로 삼는다.The I-picture 501 and the next first I-picture 505 are referred to as a GOP 509, which is a unit of motion prediction and motion picture compression, and a GOP is a unit of an IBBP (M = 3), IBP (M = 2), and IP (M = 1), and this unit is referred to as a negative GOP (510).
한편 한 영상내에서도 마크로 블록별로 예측특성이 달라지며, 특히 영상내의 드러나는 영역(uncovered region)이나 움직임이 큰 마크로블럭은 예측이 어렵기 때문에 예측없이 압축하게 되는데, I-픽쳐의 압축방법과 유사하기 때문에 이러한 마크로블럭을 인트라 마크로블럭(intra MB)이라고 한다.On the other hand, the prediction characteristics are different for each macroblock in one image. Especially, since uncovered regions or macroblocks with large motion are hard to predict, they are compressed without prediction. Because they are similar to the compression method of I- Such a macroblock is referred to as an intra macroblock (intra MB).
도5는 M=3(IBBP 구조)인 경우에 대한 GOP구조의 설명도로써, 각 픽쳐의 입력시간 순서는 설명도의 좌측픽쳐가 우선하고, MPEG, H.26x 등의 압축방법에서는 각 픽쳐는 I-픽쳐(501, 505), B-픽쳐(502, 503), P-픽쳐(504)중 반드시 한가지의 예측형식을 취하게 된다.FIG. 5 is an explanatory diagram of a GOP structure for a case where M = 3 (IBBP structure). In the compression method such as MPEG, H.26x, etc., The I-pictures 501 and 505, the B-pictures 502 and 503, and the P-picture 504 must have one prediction format.
이렇게 MPEG에서는 압축하고자하는 동영상신호 열들의 움직임 예측형식(I, P, B-픽쳐)을 다르게 하므로써 영상의 부호화 순서가 영상의 입력 및 실제의 재생순서와 다르게 되므로 압축처리 과정을 수행하는 데 따르는 지연(coding delay)외에도 영상의 재배열(reordering)에 따르는 부가적인 지연이 수반하지만, 예측없이 인트라압축만을 수행하는 경우 보다 압축효율과 부호와 성능면에서 우수하게 된다.In MPEG, since the motion prediction format (I, P, B-picture) of the video signal sequences to be compressed is different, the encoding order of the video is different from the input order of the video and the actual reproduction order, coding delay and additional delay due to reordering of the image. However, it is more excellent in compression efficiency, coding, and performance than the case of performing intra compression only without prediction.
상술된 예측형식(I-픽쳐, P-픽쳐, B-픽쳐)의 차이로 각 픽쳐별로 압축되어 발생하는 결과 비트량은 불규칙하며, 불규칙적으로 발생하는 영상데이타를 한정된(band limited)채널을 통해 전송하기 위해서는 출력비트를 일정 수준에서 유지할 필요가 있다.Due to the difference between the above-described predictive formats (I-picture, P-picture and B-picture), the amount of resultant bits generated by compression for each picture is irregular, and irregularly generated image data is transmitted through a limited band It is necessary to keep the output bits at a certain level.
따라서 MPEG, H.26x 등의 압축 표준은 가상버퍼(virtual buffer)의 상태를 체크하여(feed back) GOP단위로 출력비트를 일정하게 유지시키는 비트율 제어방식을 사용한다.Therefore, compression standards such as MPEG and H.26x use a bit rate control scheme that checks the state of a virtual buffer (feed back) and keeps output bits constant in GOP units.
즉 MPEG, H.26x 등은 출력비트율을 일정하게(constant bit rate ; CBR) 유지하기 위하여 GOP(Group of Picture)구조에 따라 각 픽쳐에 이전 프레임의 부호화 과정에서 발생한 비트율을 고려하여 압축결과 예상비트를 할당하고, 픽쳐의 특성과 버퍼여분 비트량을 계산해서 이들을 변수로 양자화 정밀도를 조정한 후, 마크로블럭(401)별 특성을 고려하여 국부적인 마크로블럭별로 적응적 양자화를 수행한다.In other words, MPEG, H.26x, etc., in order to maintain a constant bit rate (CBR), a bit rate generated in the encoding process of the previous frame is considered in each picture according to a GOP (Group of Pictures) Calculates the characteristics of the picture and the buffer extra bit amount, adjusts the quantization precision by using these as variables, and then performs adaptive quantization for each local macroblock in consideration of the characteristics of each macroblock 401.
상술된 과정에서 압축결과 예상비트를 참고하게 된다.In the above process, the expected bit of the compression result is referred to.
B-픽쳐는 P-픽쳐나 I-픽쳐로부터 양방향 예측되며 P-픽쳐는 다른 P-픽쳐나 I-픽쳐로부터 순방향 예측된다.The B-picture is bi-predicted from the P-picture or the I-picture and the P-picture is predicted from the other P-picture or I-picture.
따라서 예측영상의 화질은 기준영상의 화질에 크게 좌우되므로 압축하고자 하는 예측영상에 대한 기준영상의 화질을 개선하므로써 P-픽쳐 및 B-픽쳐의 화질을 향상시킬 수 있다.Therefore, since the picture quality of the predicted picture depends on the picture quality of the reference picture, the picture quality of the reference picture for the predicted picture to be compressed is improved to improve the picture quality of the P-picture and the B-picture.
압축영상의 화질을 개선하는 방법은 압축대상 영상에 많은 압축결과 비트가 할당되도록하여 압축영상의 정밀도를 높이는 것이다.A method of improving the quality of a compressed image is to increase the precision of the compressed image by allocating a lot of compression result bits to the compression target image.
즉 압축될 영상에 압축결과 예상비트를 많이 할당할수록 양자화의 정밀도가 증가되어 압축결과 비트도 증가되고, 압축영상의 화질도 개선시킬 수 있게 된다.That is, as more compression prediction result bits are allocated to the image to be compressed, the precision of the quantization is increased, the compression result bit is increased, and the quality of the compressed image is also improved.
정보화시대의 도래와 함께 인간들의 정보서비스에 대한 욕구도 고급화, 다양화되어가고 있는 추세이며, 영상정보서비스는 이러한 욕구를 충족시켜주는 수단으로 간주되어 많은 연구개발이 수행되고 있다.With the advent of the information age, the desire for information services for humans has also been becoming more and more diverse. Image information services are regarded as a means of satisfying these needs and many research and development are being carried out.
특히 MPEG은 영상서비스제공 매체의 총아라 할 수 있는 HDTV이후의 21세기 영상서비스는 홀로그램과 같은 입체영상서비스로 대체될 것으로 예측하고, 입체영상의 처리방식을 MPEG4등 표준화 활동에 포함시켜 각국의 제안과 연구결과에 대한 검토작업을 활발히 진행하고 있는 실정이다.In particular, MPEG predicts that the 21st century video service after HDTV, which is the total area of video service providing media, will be replaced by stereoscopic image service such as hologram, and the processing method of stereoscopic image is included in the standardization activities such as MPEG4, And the research results are being actively reviewed.
디지탈 3차원 영상서비스 제공체계는 다른 영상서비스와 마찬가지로 크게 "영상획득계, 전송계, 재현계"로 구분할 수 있다.Digital three-dimensional image service provision system can be divided into "image acquisition system, transmission system, reproduction system" as well as other image services.
영상획득계는 도1 처럼 2대의 이상의 카메라(102, 103)를 통해 입체영상 데이터를 획득한 후 디지탈화하여 압축, 보정 등의 영상신호처리를 수행하며, 전송계는 적당한 데이터 전송선로를 선택하여 재현계에 영상신호를 전송해 준다.As shown in FIG. 1, the image acquisition system acquires stereoscopic image data through two or more cameras 102 and 103 and performs digital signal processing such as compression and correction, and the transmission system selects and reproduces a proper data transmission line. And transmits the video signal to the system.
재현계에 도달된 영상신호는 일반적으로 영상획득계의 역처리 과정을 거쳐 본래의 영상으로 재현할 수 있다.The video signal arriving at the reproducibility system can be reconstructed as the original image through the reverse processing of the image acquisition system in general.
이러한 기능은 3차원 영상 수상기를 통해서 수행되며 특수안경을 이용하거나 영상재현면을 특수가공해서 또는 홀로그램 방식 등으로 재현할 수 있다.This function is performed through the 3D image receiver and can be reproduced by using special glasses, special processing of the image reproduction surface, or hologram method.
디지탈 3차원 영상서비스의 원활한 제공을 위해서는 영상신호 획득 등을 포함한 영상신호처리와 재현방법이 규정되어야 한다.In order to provide smooth 3D digital image service, image signal processing including image signal acquisition and reproduction method should be defined.
특히 디지탈 3차원 동영상 데이터는 정보량이 크기 때문에 전송과 저장을 위해서는 반드시 압축을 하여야 하며, 이에는 MPEG, H.26x 등 처럼 움직임 예측방식을 적용하고 있는 일반적인 동영상 압축방법이 사용될 것으로 기대된다.In particular, digital three-dimensional moving image data is required to be compressed for transmission and storage because of its large amount of information, and it is expected that a general moving image compression method applying motion prediction method such as MPEG, H.26x, etc. is expected to be used.
상기와 같은 동영상 압축방식들은 복잡한 영상이거나, 영상신호 특성의 변화가 클 경우에 재현화질의 변동이 큰 단점이 있는 것으로 알려져 있으며, 이런 현상은 상기 압축방식들을 적용하여 3차원 영상신호를 처리하는 경우에도 문제가 된다.It is known that the above-described moving image compression schemes have a disadvantage in that they are complex images or fluctuate in reproduced image quality when the variation of the image signal characteristics is large. This phenomenon occurs when the three-dimensional image signal is processed by applying the above- It also becomes a problem.
본 발명은 상기와 유사한 일반적인 동영상 압축방식을 응용하여 3차원 디지탈 영상신호를 압축하는 경우, 높은 압축률을 유지하면서 화질변동을 줄여 재현화질을 개선할 수 있는 3차원 디지탈 영상신호의 압축방식에 관한 것이다.The present invention relates to a compression method of a three-dimensional digital video signal which can improve a reproduced image quality by reducing image quality fluctuation while maintaining a high compression ratio when compressing a three-dimensional digital video signal by applying a general moving picture compression method similar to the above .
입체영상은 동일한 피사체에 상이한 각도에서 영상을 획득하고, 획득된 영상들로부터 깊이정보를 추출하므로써 획득된다.Stereoscopic images are acquired by acquiring images from different angles on the same subject and extracting depth information from the acquired images.
입체영상 재현을 위한 상이한 시차의 영상획득은 도 1과 같이 다수의 카메라 (102, 103)를 일정한 시차(S)만큼 거리(106)를 두고 촬영하는 방법이 이용된다.As shown in FIG. 1, a method of photographing a plurality of cameras 102 and 103 at a certain distance S by a predetermined parallax S is used to acquire different parallax images for stereoscopic image reproduction.
이렇게 획득된 영상신호(203 내지 204, 701 내지 702, 803 내지 804, 901내지 902)는 도7처럼 각각 신호의 형태변환 및 보정 등을 수행하는 전처리부(703, 903)과정을 거쳐 독립적으로 압축부(704, 705)에서 압축된다.The image signals 203 to 204, 701 to 702, 803 to 804, and 901 to 902 thus obtained are subjected to preprocessing steps 703 and 903 for performing signal shape conversion and correction, Are compressed in sections 704 and 705, respectively.
신호의 형태변환이라 함은 영상신호의 처리를 용이하게 하기 위하여 카메라에서 획득된 아날로그 형태의 신호를 압축이 용이한 형태의 신호(708 내지 709)로 바꾸기 위해 이산형태의 디지탈 신호로 변환하는 A/D(아날로그/디지탈)변환을 수행하거나, 영상신호의 색상(빨강, 녹색, 파랑)간에 존재하는 중복성 제거 등을 수행하는 일련의 처리과정을 지칭하며, 입체 영상데이타 처리 뿐만 아니라 일반적인 영상 데이터의 처리과정에서 보편적으로 수행되는 방식이다.The shape conversion of a signal refers to an A / D converter that converts an analog signal obtained from a camera into a discrete digital signal in order to convert it into an easily compressible signal 708 to 709, Refers to a series of processes for performing D (analog / digital) conversion or for eliminating redundancy existing between colors (red, green, and blue) of an image signal. In addition to stereoscopic image data processing, It is a common practice in the process.
보정은 도2에서 보듯이 동일한 피사체 일지라도 카메라의 시차에 의하여 변형된 형태로 획득되는 영상들(203, 204 내지 801, 802)을 보간 교삽 등에 의하여 시차가 없는 경우에 얻을 수 있는 공간 해상도(104 내지 202 내지 803, 804)로 교정(206)하는 등의 일련의 처리과정(205)을 지칭한다.As shown in FIG. 2, the images (203, 204 to 801, and 802) obtained in a deformed form by the parallax of the camera, even if they are the same object, 202 to 803, 804), and so on.
상기와 같이 전처리된 영상신호는 데이터량이 크기 때문에 아무런 조치없이 처리(저장 및 전송)하기 어렵다.Since the preprocessed video signal has a large data amount, it is difficult to process (store and transmit) the video signal without any action.
따라서 압축을하여 처리하여야 할 필요성이 있으며, 입체영상신호의 압축은 시차가 상이한 각 신호(701 내지 702, 901 내지 902)별로 수행하게 된다.Therefore, there is a need to compress and process the stereoscopic image signal. Compression of the stereoscopic image signal is performed for each of the signals 701 to 702 and 901 to 902 having different time differences.
이때 영상신호(708, 709)의 압축(710, 711)은 압축부(704, 705)에서 여러 가지 방법으로 수행되며 정지화의 경우 백터양자화(VQ), JPEG 등의 기법이 사용되고 동화의 경우에는 MPEG, H.26x 등의 압축기법이 사용된다.At this time, the compressing units 710 and 711 of the image signals 708 and 709 are performed by the compressing units 704 and 705 in various ways. In the case of still image stabilization, techniques such as vector quantization (VQ) and JPEG are used. , H.26x, etc. are used.
이러한 압축방식들은 상술한 바와 같이 이산여현변환(DCT) 등의 직교변환과 양자화에 의해서 압축하고자 하는 영상신호(301)내에 자체적으로 존재하는 공간중복성(spatial redundancy)을 변환 및 양자화부(302)에서 제거하게 되고, 양자화된 신호(303)는 허프만 방식, 산술 부호화 방식 등에 의하여 부호할당부(304)에서 부호(code)를 할당하는 일련의 처리과정을 수행하여 압축된 신호(305)를 얻는다.As described above, such compression schemes convert spatial redundancy that exists in the video signal 301 to be compressed by orthogonal transformation such as DCT and quantization, and quantization unit 302 And the quantized signal 303 is subjected to a series of processing of assigning a code in the to-be-coded part 304 by a Huffman method, an arithmetic coding method or the like to obtain the compressed signal 305.
입체 동영상은 이상의 과정과 함께 일반적인 동영상 압축방식에 적용되는 상기의 움직임 예측을 도6에서처럼 각각의 획득 영상별(601∼609, 610∼618)로 적용하여 압축할 수 있으며, 각 영상렬에 대해서 기준영상으로는 시간적으로 가장 가까운 I-픽쳐나 P-픽쳐를 사용하게 되는데, 상술된 일반 동영상 압축방법처럼 P-픽쳐(604/613)는 이전의 I-픽쳐(601/610)나 P-픽쳐 중 시간적으로 바로 이전의 픽쳐(601/610)로부터 움직임을 예측(621)하여 압축하고, B-픽쳐(602 내지 603/611 내지 612)는 이전과 이후의 I-픽쳐(601 내지 609/610 내지 618)나 P-픽쳐(604 내지 606/613 내지 615)중 시간적으로 가장 인접한 이전의 픽쳐(601/610)와, 이후의 I-픽쳐(609/618)나 P-픽쳐(604 내지 606/613 내지 615)중 시간적으로 가장 인접한 픽쳐(604/613)의 두 픽쳐로부터 움직임을 예측(619 및 620)하여 압축한다.The stereoscopic moving image can be compressed by applying the above-described motion prediction to the general moving image compression method as shown in FIG. 6 for each of the acquired images 601 to 609 and 610 to 618, The P-picture 604/613 uses the I-picture or the P-picture closest in time as the video, and the P-picture 604/613, like the general moving picture compression method described above, Pictures 621 to 603/611 to 612 predict and compress the motion from the immediately preceding picture 601/610, and the B-pictures 602 to 603/611 to 612 compress the previous and subsequent I-pictures 601 to 609/610 to 618 Picture 604 to 606/613 to 615 and the temporally closest previous picture 601/610 and the subsequent I-picture 609/618 or P-picture 604 to 606/613 to 615, (619 and 620) from two pictures of temporally closest pictures (604/613) out of the two pictures (614 and 615).
나머지 P-픽쳐(606/615)나 B-픽쳐(607 내지 608/616 내지 617)도 동일한 움직임 예측방식(622 내지 619 및 620)에 의해 압축한다.The remaining P-pictures 606/615 and B-pictures 607 through 608/616 through 617 are also compressed by the same motion prediction methods 622 through 619 and 620.
상기와 같은 방법에 의해서 압축된 각각의 영상신호들(710 내지 711)은 저장 및 전송을 위해서 부호할당 및 혼합부(706)를 통해 하나의 압축된 신호(707)로 만들어지며, 복호기는 일반적으로 상기 압축과정의 역순에 의해 신호를 찾게 되고 이로부터 입체영상을 재현하게 된다.Each of the video signals 710 to 711 compressed by the above method is made into one compressed signal 707 through a code allocation and mixing unit 706 for storage and transmission, A signal is found by the reverse order of the compression process, and a stereoscopic image is reproduced from the signal.
즉 참조표를 이용하여 부호 해석 및 분리부(712)에서 두 신호열로 분리하여 양자화된 신호(713 내지 714)를 생성한 후 각각의 신호에 대해 역직교변환 및 역양자화 및 움직임 보상 등을 통해 압축해제부(715, 716)에서 압축해제하여 본래의 획득영상 A열 및 획득영상 B열의 두 신호열(717 내지 718)을 복원한 후 입체 재현을 위한 형태의 신호(720)로 후처리부(719)에서 변환(719)하여 단말장치(721)를 통해 입체영상을 재생한다.In other words, the code table 712 separates the signals into two signal sequences and generates quantized signals 713 to 714 using the reference table. Then, each signal is subjected to inverse orthogonal transformation, inverse quantization and motion compensation, Decompressed by the decompressing units 715 and 716 to restore the original two acquired signal sequences A and B of the acquired image sequence B and then sent to the post-processing unit 719 as a signal 720 for stereoscopic reproduction (719) and reproduces the stereoscopic image through the terminal device (721).
그러나 이러한 방법은 도6, 도7에서 본 바와같이 시차가 상이한 각 신호별로 상기와 같은 일련의 압축과정을 독립적으로 수행하게 되므로 혼합기에서 최종적으로 출력되는 압축신호열(707)이 차지하는 데이터량은 영상획득에 사용되는 카메라 수의 배수만큼 증가하게 되는 단점이 있다.However, since the above-described series of compression processes are independently performed for each signal having a different time difference as shown in FIGS. 6 and 7, the amount of data occupied by the compressed signal sequence 707 finally output from the mixer is Is increased by a multiple of the number of cameras used in the camera.
입체영상을 획득하기 위해서는 동일한 피사체에 대해서 다른 위치에서 촬영한 영상들이 필요하므로 압축을 하여도 일반적인 영상데이타 보다 영상 획득에 소요되는 카메라 수의 배이상 많은 데이터가 발생하게 됨은 상술한 바와 같다.In order to acquire a stereoscopic image, images taken at different positions with respect to the same subject are required. Therefore, even if compression is performed, data as much as twice the number of cameras required for image acquisition is generated than general image data.
따라서 일반적인 입체동영상의 압축방법으로 도6, 도7에서 본 바와 같이 시차가 상이한 각 신호별로 MPEG, H.26x 등의 동영상 압축방식에서 처럼 시간적으로 차이가 있는 영상간의 움직임을 예측하여 압축률을 높이는 방법을 사용하는데, 시차예측을 이용한 입체동영상의 압축방법(도9)은 각각의 획득영상에 대해 독립적으로 압축을 수행하던 종래의 입체동영상 압축방식보다 압축율을 높이기 위하여 각각의 획득영상열(901, 902)을 전처리부(903)에서 기준영상열(910)과 예측영상열(911)로 구분하는 단계를 거쳐, 기준영상열(910)은 압축부(905)에서 기존의 압축방식을 사용하여 압축을 수행하고, 예측영상열(911)은 압축부 (906)에서 동영상 압축방법의 움직임 예측과 유사하게 압축대상 영상(803)의 압축대상 블록(805)위치 (807)에 대해서 일정한 탐색범위(806)내에서 기준영상내(804)의 가장 유사한 부분(808)을 찾는 방식으로 시차예측부(904)에서 시차를 예측하여, 예측된 시차값(809)와 예측된 위치에서의 기준영상과의 차(907)신호(912)만을 압축부(906)에서 압축하는 방법으로 압축율을 높힌다.Therefore, as shown in FIGS. 6 and 7, a method of compressing a stereoscopic moving image by predicting the motion between images having temporal differences as in the case of a moving image compression method such as MPEG or H.26x for each signal having a different time difference (FIG. 9) using the time difference prediction is used to compress the respective acquired image sequences 901 and 902 (FIG. 9) in order to increase the compression ratio compared with the conventional stereoscopic moving image compression method that independently compresses each acquired image. Is divided into a reference image sequence 910 and a prediction image sequence 911 in the preprocessing unit 903 and the reference image sequence 910 is compressed in the compression unit 905 using the conventional compression scheme And the predictive image sequence 911 generates a predetermined search range 806 with respect to the compression target block 805 position 807 of the compression target image 803 in the compression unit 906 in a similar manner to the motion prediction of the moving image compression method, Inside The difference between the predicted parallax value 809 and the reference image at the predicted position 907 is calculated by predicting the parallax in the parallax predictor 904 in such a manner that the most similar portion 808 of the parallax image 804 is found, Only the signal 912 is compressed by the compression unit 906, thereby increasing the compression rate.
도8과 같은 시차(809)를 예측하기 위해서는 일반적인 동영상 압축방식(MPEG, H.26x)에 적용되는 전탐색 등의 방식이 적용될 수 있으나 시차가 다른 입체 영상간에서는 동일한 시간대에 서로 다른 위치에서 획득된 영상간(803 내지 804)의 공간차를 찾은게 되므로, 이 값은 일반적인 동영상 압축방식에서의 움직임(404)과는 다른 시차(809)가 된다.In order to predict the parallax 809 as shown in FIG. 8, a full search method applied to a general moving picture compression method (MPEG, H.26x) can be applied. However, in a stereoscopic image having a different time difference, Since the spatial difference between the interlaced images 803 to 804 is found, this value becomes a parallax 809 which is different from the motion 404 in the general moving picture compression method.
일단의 탐색방법에 의하여 입체영상에서도 기준영상의 단위블럭에 대한 예측영상의 시차가 예측되면 예측영상에 대해서는 예측된 시차값(Q)과 기준영상과의 차값만을 압축하므로서 압축율을 높일 수 있다.If the parallax of a predictive image with respect to a unit block of the reference image is predicted in a stereoscopic image by a single search method, the compression ratio can be increased by compressing only the difference between the predicted parallax value Q and the reference image.
즉 기준영상에 대해서는 종래의 압축방법을 거의 그대로 적용하여 압축하므로 기존의 압축방식과 비교하여 압축된 데이터량에 큰 차이가 없으나, 예측영상에 대해서는 압축된 데이터에 시차값(Q)과 차신호의 정보만을 포함하면 족하므로 데이터량을 크게 줄일 수 있고, 결국 부호할당 및 혼합부(908)에서 최종적으로 발생하는 전체 데이터량(909)은 종래의 방식에 비교해서 큰폭(0.5)으로 줄어들게 된다.That is, since the reference image is compressed by applying the conventional compression method almost as it is, there is no significant difference in the amount of compressed data compared with the conventional compression method. However, for the predicted image, the differential value (Q) The amount of data can be greatly reduced. As a result, the total amount of data 909 finally generated in the code allocation and mixing unit 908 is reduced to a large value (0.5) as compared with the conventional method.
시차예측을 이용하여 압축된 입체영상신호(909)로부터 본래의 입체영상신호를 복원하기 위해서는 우선 분리기(915)에서 기준영상 신호(913)와 예측영상 신호(914)로 분리한 후(915), 각 신호에 대해서 압축 해제부(916, 917)에서 압축 해제를 수행하며, 압축 해제된 예측영상 신호(919)는 본래 그 성분이 기준영상(910)과 예측영상(911)간의 차신호(912)로 이루어져 있기 때문에 시차값(Q)을 이용하여 기준영상(918)에 대한 보상을 하여야 한다.(920 및 925)In order to restore the original stereoscopic image signal from the compressed stereoscopic image signal 909 using the time difference prediction, the separator 915 separates the stereoscopic image signal into a reference image signal 913 and a prediction image signal 914 (915) Decompression units 916 and 917 perform decompression for each signal and the decompressed predicted video signal 919 is originally decomposed into a difference signal 912 between the reference image 910 and the predicted image 911, It is necessary to compensate the reference image 918 using the parallax value Q. (920 and 925)
보상된 예측영상(921)과 기준영상(918)을 처리하기 용이한 형태로 바꾸거나 입체영상 재현을 위해서는 영상내의 사물간 거리 및 깊이 정보를 추출하는 후처리(922)과정을 수행하여야 하며, 후처리 된 신호(923)로써 단말장치(924)를 통해 입체영상을 재현하게 된다.The compensated prediction image 921 and the reference image 918 should be converted into a form that can be easily processed or a post-processing 922 for extracting the distance and depth information of the object in the image should be performed in order to reproduce the stereoscopic image. And the stereoscopic image is reproduced through the terminal device 924 with the processed signal 923.
도10 및 도11은 시차예측을 적용한 일반적인 입체 동영상신호의 압축에 대한 일예이다.FIGS. 10 and 11 show an example of compression of a stereoscopic moving image signal to which a differential prediction is applied.
도10은 입체영상을 압축함에 있어 예측 영상열 압축에 예측하고자 하는 영상의 이전 영상(1022)을 이용하여 움직임 예측과 기준영상열의 영상(1021)을 사용하는 시차예측을 혼합하는 경우의 압축방식을 설명한 것이다.10 illustrates a compression method for mixing a motion prediction and a parallax prediction using an image 1021 of a reference image column using a previous image 1022 of an image to be predicted in the compression of a predictive image in compression of a stereoscopic image It is explained.
즉, 기준영상열은 움직임 예측방식을 적용하는 기존의 동영상 압축방식에 의하여 I-픽쳐(1010, 1018), P-픽쳐(1013, 1015), B-픽쳐(1011, 1012, 1014, 1016, 1017)를 구분한 후 각각 인트라압축(I-픽쳐), 순방향예측(1021), 양방향예측(1019 내지 1020)을 통해 압축하며, 예측영상열의 영상신호는 예측영상열내의 예측하고자 하는 영상의 이전영상에 대한 움직임 예측(1022)과 기준영상열의 영상에 대한 시차예측(1023)을 사용한다.That is, the reference image sequence is divided into I-pictures 1010 and 1018, P-pictures 1013 and 1015, and B-pictures 1011, 1012, 1014, 1016 and 1017 ), Respectively, and compresses them through intra-compression (I-picture), forward prediction 1021, and bidirectional prediction 1019 to 1020, and the video signal of the predicted video sequence is compressed to a previous video A motion prediction 1022 and a parallax prediction 1023 for an image of a reference image sequence are used.
이전영상이 없어 움직임 예측(1022)을 수행하지 않고 시차예측(1023)만을 수행하므로써 일반적인 동영상 압축방식의 P-픽쳐와 유사한(P')압축형태를 취할 수밖에 없는 예측영상열의 첫 번째 영상신호(1001)를 제외하고, 나머지 예측영상 신호들은 (1002∼1009)시간적으로 동일한 시점에서 획득된 기준영상열의 영상을 사용한 시차예측과 바로 이전의 예측영상열 신호를 참고한 움직임 예측을 동시에 적용하여 압축하므로써 일반적인 동영상압축방식의 B-픽쳐와 유사한(B')압축방식을 취하게 된다.The first video signal 1001 of the predicted video sequence which can be compressed (P ') similar to the P-picture of the general moving picture compression scheme by performing only the disparity prediction 1023 without performing the motion prediction 1022 without the previous video ), The remaining predictive image signals are simultaneously compressed by applying a parallax prediction using an image of a reference image sequence acquired at the same temporal point in time (1002 to 1009) and a motion prediction referring to a previous predictive image column signal at the same time (B ') compression scheme similar to the B-picture of the moving picture compression scheme.
도11은 예측영상열 압축시 시차예측을 수행함에 있어서 시차예측의 기준영상으로 기준영상열내의 예측하고자 하는 영상의 이후 영상과 기준영상열내의 동일시점에서 획득된 영상을 사용(1122)하는 압축방법을 설명한 것이다.11 is a diagram illustrating a compression method (1122) of using a picture obtained at the same time in a reference image sequence and a subsequent image of an image to be predicted in a reference image sequence as a reference image of a parallax prediction, .
즉 기준영상열은 움직임 예측방식을 적용하는 기존의 동영상 압축방식에 의하여 I-픽쳐(1110, 1118), P-픽쳐(1113, 1115), B-픽쳐(1111, 1112, 1114, 1116, 1117)를 구분한 후 각각 인트라압축(I-픽쳐), 순방향예측(1121), 양방향예측(1119내지 1120)을 통해 압축하며, 예측영상열의 영상신호는 기준영상열내의 예측하고자 하는 영상의 이후 영상과 기준영상열내의 동일시점에서 획득된 영상을 사용(1122)한다.That is, the reference image sequence is divided into I-pictures 1110 and 1118, P-pictures 1113 and 1115, and B-pictures 1111, 1112, 1114, 1116 and 1117 according to a conventional moving picture compression scheme, (I-picture), forward prediction 1121, and bidirectional prediction 1119 to 1120, respectively, and the image signal of the predicted image sequence is divided into a subsequent image of the image to be predicted in the reference image sequence, The image obtained at the same time in the image column is used (1122).
이 방식은 예측 영상열 내의 모든 영상을 일반적인 동영상 압축방식의 B-픽쳐와 유사한(B')압축 방식만으로 압축할 수 있어(1101∼1109)구현이 간단하고, 압축률의 변화를 최소화할 수 있다는 장점이 있다.This method is capable of compressing all images in the predicted image sequence by only (B ') compression methods similar to B-pictures of a general moving image compression system (1101 to 1109), simplifying implementation and minimizing a change in compression rate .
한편 MPEG, H.26x 등 움직임보상예측을 적용하는 동영상 압축방식들은 복잡한 영상이거나, 영상신호 특성의 변화가 클 경우에 재현영상의 화질을 열화시키는 단점이 있는 것으로 알려져 있으며, 상기에서 언급한 바와같이 입체영상도 일반적인 동영상 압축방식을 응용하여 압축함에 따라 동일한 문제가 발생한다.On the other hand, it is known that moving picture compression schemes such as MPEG and H.26x, which are motion compensation methods, have a disadvantage in that they are complex images or deteriorate the reproduced image quality when the variation of the video signal characteristics is large. The stereoscopic image also suffers from the same problem as compressing by applying a general moving image compression method.
MPEG, H.26x 등은 움직임 예측방식을 적용하여 압축율을 높이고 있지만GOP크기가 커지면 예측 오차가 누적되어 GOP의 끝부분은 갈수록 화질이 떨어지는 단점이 있다.MPEG, H.26x, etc., increase the compression ratio by applying the motion prediction method. However, when the GOP size is large, the prediction error accumulates, and the end portion of the GOP is degraded in image quality.
즉 상기의 동영상 압축방식들은 영상을 압축하기 전에 압축대상 영상의 특성(분산값 따위)을 예측하여 GOP 내에 미리 압축결과 비트를 할당하고 이를 I,P,B 각 픽쳐별로 4:2:1 비율로 고르게 할당하는데 GOP내에 영상특성이 고르지 못하거나 영상내 사물의 움직임이 빠른 경우 GOP 끝부분에서는 압축에 필요한 비트를 충분히 할당할 수가 없어 화질이 덜어지게 된다.That is, the moving picture compression schemes predict a characteristic (dispersion value, etc.) of a compression target image before compressing an image, allocate a compression result bit in advance in a GOP, and divide it into a 4: 2: 1 ratio for each I, If the image characteristics are uneven in the GOP or objects move fast in the GOP, the bits required for compression can not be sufficiently allocated at the end of the GOP, thereby reducing image quality.
이러한 현상은 GOP 크기가 클수록 심하게 발생하므로 MPEG, H.26x 등의 동영상 압축방식은 GOP 크기를 12 또는 15 정도로 제한하고 있다.This phenomenon occurs more severely with a larger GOP size, and therefore, the video compression method such as MPEG and H.26x restricts the GOP size to about 12 or 15.
따라서 GOP 설정과 움직임예측에 의해 입체영상을 압축하는 경우도 이런 문제점은 피할 수 없게 된다.Therefore, even when a stereoscopic image is compressed by GOP setting and motion prediction, such a problem can not be avoided.
한편 일반적인 동영상 압축방법인 H.26x, MPEG 등은 보통의 영상에 대해서 우수한 부호와 성능을 나타내지만, 영상을 부호화하는 중간에 영상내에서 줌(zoom) 현상이나 카메라의 급격한 움직임에 의해서 발생하는 팬(pan)현상 또는 신호특성이 전혀 다른 영상이 입력되면, 더 이상 특성이 전혀 상이한 영상간의 움직임 예측이 효율적이지 못하게 되고 대부분의 마크로블럭은 예측없이 자신만의 정보로 부호화(인트라(intra)마이크로블럭)하게 되므로 많은 부호와 비트가 필요로 함에도 불구하고 현재까지의 동영상 압축알고리즘은 이런 현실을 고려하지 않고 있어서, 재현 영상의 화질이 급격히 열화되어 오랜시간(약1초)지속되는 단점이 있다.On the other hand, H.26x and MPEG, which are common video compression methods, exhibit excellent codes and performance for ordinary images. However, in the middle of encoding an image, a zoom phenomenon in the image or a sudden movement when a pan phenomenon or a signal having a completely different signal characteristic is input, motion prediction between images having different characteristics is not efficient, and most macroblocks are encoded with their own information (intra-macroblocks ), So that the moving picture compression algorithm up to now does not take into consideration such a reality, and thus the image quality of the reproduced image deteriorates drastically and continues for a long time (about 1 second).
이러한 화질열화 현상은 특성이 바뀐 픽쳐의 위치에 따라 그 영향의 정도는 차이가 있으며, 보통 1 GOP 정도의 시간이 경과한 후에야 안정적인 화질을 얻을 수 있게 되며, 이 현상은 부호화된 영상의 실시간 복원시 시각적인 불쾌감을 유발하는 원인이 된다.Such a deterioration in image quality may vary depending on the position of the picture whose characteristics have changed, and a stable picture quality can be obtained only after about 1 GOP of the time has elapsed. Causing visual discomfort.
움직임 예측방식을 채택하여 영상신호를 압축하는 기존의 입체동영사 압축방법도 보통의 입체동영상에 대해서 우수한 부호화 성능을 나타내지만 영상을 압축하는 중간에 영상특성이 급변하게 되면 이전의 영상을 기준으로 수행된 움직임 예측이 효과적이지 못하게 되고, 재현영상의 화질이 열화되는 현상을 발생시킨다.Conventional stereoscopic compression methods for compressing an image signal by adopting a motion prediction method also exhibit excellent encoding performance for a stereoscopic moving image. However, if the image characteristic rapidly changes during the compression of an image, The motion prediction becomes ineffective, and the image quality of the reproduced image deteriorates.
이렇게 MPEG에서는 압축하고자하는 동영상신호 열들의 움직임 예측형식(I,P,B-픽쳐)을 다르게 하므로써 영상의 부호화 순서가 영상의 입력및 실제의 재생순서와 다르게 되므로 압축처리 과정을 수행하는데 따르는 지연외에도 영상의 재배열에 따르는 부가적인 지연이 수반하지만, I-픽쳐로만 부호화하는 경우보다 압축효율과 부호화 성능면에서 우수하게 된다.In MPEG, since the motion prediction format (I, P, B-picture) of the moving picture signal sequences to be compressed is different, the coding order of the picture is different from the input order of the picture and the actual reproduction order. It is accompanied by an additional delay due to rearrangement of the image, but it is more excellent in terms of compression efficiency and coding performance than the case of coding only in I-picture.
본 발명은 입체동영상의 압축시 움직임예측을 사용함으로써 발생하는 GOP 내의 예측오차 누적현상과, 확득영상에 신호특성의 급격한 변환이 존재할 때 발생하는 재현영상의 화질 열화를 방지하기 위해 안출된 것으로, 상기 원인에 의해 화질열화가 예상되는 예측영상에 대해서는 많은 비트가 할당되도록 하거나 움직임예측을 최대한 억제하여 압축하므로서 예측영상 및 기준영상의 예측오차 누적에 의한 화질 감소 현상과, 획득영상 특성의 급변에 따른 심각한 화질열화 현상을 극복하여 재현 영상의 화질을 고르게 유지하는 것을 목적으로 한다.The present invention is conceived to prevent a prediction error accumulation phenomenon in a GOP, which is generated by using motion prediction when a stereoscopic moving image is compressed, and deterioration of image quality of a reproduced image generated when a sudden conversion of signal characteristics occurs in a convolution image. The image quality degradation phenomenon due to the accumulation of the prediction errors of the predicted image and the reference image and the severe degradation due to the sudden change in the acquired image characteristics are prevented by allocating many bits to the predicted image, It is aimed to overcome the deterioration of image quality and to maintain the quality of reproduced image evenly.
상기의 목적을 달성하기 위하여 본 발명은 움직임예측에 의해 입체영상신호를 압축함에 있어서, 움직임예측을 사용함에 따른 GOP 중반이후의 예측오차 누적현상 또는 획득영상에 신호특성의 급격한 변환이 존재할 때 발생하는 재현영상의 화질 열화를 줄이기 위해서, 시차가 다른 각도에서 획득된 입체영상들을 기준영상열(701)과 예측영상열(702)로 구분하는 1단계와 ; 기준영상열은 종래의 움직임 예측방식에 의하여 압축하며, 예측영상열은 기준영상열을 기준으로한 시차예측을 포함하여 압축도록 하는 2단계와 ; 상기 단계에서 상술된 원인에 의해 화질열화가 기대되는 예측영상의 화질을 개선한 후 개선된 예측영상을 기준으로 해당위치의 기준영상을 시차예측하여 이후의 기준영상열과 예측영상열의 화질을 개선시키도록 하는 GOP구조를 설정하여 압축하는 3단계를 포함하여 이루어 지는 것을 특징으로 한다.In order to achieve the above object, in the present invention, when a stereoscopic image signal is compressed by motion prediction, a prediction error accumulation phenomenon occurring after the middle of a GOP due to the use of motion prediction or a sudden change in signal characteristics occurs in an acquired image A first step of dividing the stereoscopic images obtained at different angles of parallax into a reference image sequence 701 and a prediction image sequence 702 in order to reduce image deterioration of the reproduced image; A second step of compressing the reference image sequence by a conventional motion prediction method and compressing the prediction image sequence by including a parallax prediction based on a reference image sequence; In the above step, after improving the image quality of the predicted image for which deterioration of image quality is expected due to the above-described cause, the reference image of the corresponding position is predicted by the parallax prediction based on the improved predicted image, And a third step of setting and compressing the GOP structure.
도1은 입체영상 획득 개념도FIG. 1 is a block diagram of a three-
도2는 시차예측 개념을 이해하기 위한 입체영상 보정의 개념도Fig. 2 is a conceptual diagram of stereoscopic image correction for understanding the concept of time difference prediction
도3은 일반적인 영상신호의 압축 및 복원방식의 개념도FIG. 3 is a conceptual diagram of a general video signal compression /
도4는 움직임 예측방식의 설명도4 is an explanatory diagram of a motion prediction method
도5는 동영상 압축방식 및 영상구조의 설명도5 is an explanatory diagram of a moving picture compression method and an image structure
도6은 일반적인 입체동영상의 GOP 구조 개념도6 is a conceptual diagram of a GOP structure of a stereoscopic moving image
도7은 일반적인 입체동영상 압축 및 복원방식의 개념도7 is a conceptual diagram of a general stereoscopic video compression and decompression method
도8은 시차예측 설명도Fig. 8 is a diagram illustrating a parallax prediction
도9는 시차예측을 적용하여 압축하는 경우의 입체동영상 압축 및 복원방식 개념도Fig. 9 is a conceptual diagram of a stereoscopic video compression and decompression method when compressing by applying a time difference prediction
도10은 시차예측을 적용한 기존의 입체동영상 압축방식의 일예도FIG. 10 shows an example of a conventional three-dimensional moving picture compression method applying a time difference prediction
도11은 시차예측을 적용한 기존의 입체동영상 압축방식의 일예도11 shows an example of a conventional three-dimensional moving picture compression method to which a time difference prediction is applied
도12는 본 발명에 의한 입체동영상 압축방식의 흐름도12 is a flowchart of a stereoscopic moving picture compression method according to the present invention
도13은 본 발명에 의한 입체동영상 압축방식의 일실시예13 is a block diagram of an embodiment of a stereoscopic moving picture compression method according to the present invention
도14는 본 발명에 의한 입체동영상 압축방식의 다른 일실시예FIG. 14 is a block diagram of a stereoscopic moving image compression method according to another embodiment
* 도면의 주요부분에 대한 부호의 설명DESCRIPTION OF THE REFERENCE NUMERALS
302 : 변환 및 양자화부 304 : 부호할당부302: Transformation and quantization unit 304:
306 : 부호해석부 308 : 역변환/역양자화부306: a code analyzing unit 308: an inverse transform /
703, 903 : 전처리부 704, 705, 905, 906 : 압축부703, 903: Pretreatment unit 704, 705, 905, 906:
706, 908 : 부호할당 및 혼합부 712 : 부호해석 및 분리부706, 908: code assignment and mixing section 712: code analysis and division section
715, 716, 916, 917 : 압축해제부 719, 922 : 후처리부715, 716, 916, 917: decompression units 719, 922:
904 : 시차예측부 915 : 분리기904: Time lag prediction unit 915:
도12는 본 발명에 의한 입체동영상 압축시 기준영상과 예측영상에 대한 압축방법의 흐름도이다.12 is a flowchart of a compression method for a reference image and a prediction image in stereoscopic video compression according to the present invention.
기존의 입체동영상 압축방식은 시차를 달리하여 획득된 영상신호들을 압축함에 있어서 기준영상열은 종래의 동영상 압축방법으로 압축하고 예측영상열은 예측 영상열 자체의 움직임예측 외에 기준영상열에 대해 시차를 에측하므로써 압축 효율을 높이고 있으나, 전술한 바와 같은 문제점이 있다.In the conventional stereoscopic moving image compression method, the reference image sequence is compressed by the conventional moving image compression method in compressing the image signals obtained by differentiating the time difference, and the prediction image sequence includes a motion prediction of the prediction image sequence itself, Thereby improving the compression efficiency. However, there is a problem as described above.
따라서 본 발명에 의한 입체동영상 압축방법은 상기의 문제점을 해결하기 위하여 전술된 원인들에 의하여 화질열화가 예상되는 예측영상(I')의 화질을 개선시킨 후 해당위치의 기준영상을 이 영상을 참고하여 시차예측을 적용하므로서 이후 영상들의 화질을 개선한다.Therefore, in order to solve the above problems, the stereoscopic moving picture compression method according to the present invention improves the picture quality of the predicted picture (I '), which is predicted to deteriorate in picture quality according to the above-mentioned causes, Thereby improving the image quality of the subsequent images.
상술한 바와같이 움직임 예측 및 시차예측 등을 적용하여 압축하는 예측영상(1307 내지 1407)의 화질을 개선하는 방법은 압축대상 영상을 움직임이나 시차예측을 적용하지 않고 압축하거나 예측에 의해 압축하더라도 압축대상 영상에 많은 비트를 부여하여 압축률을 줄이는 것이다.As described above, the method of improving the picture quality of the predictive images 1307 to 1407 to be compressed by applying the motion prediction, the parallax prediction, and the like is such that even if the compression target image is compressed without applying motion or parallax prediction, It is to reduce the compression rate by giving many bits to the image.
즉 본 발명은 입체영상을 압축하기 위해서(1201) 우선 기준영상열과 예측영상열을 구분한 후 일정한 압축결과 비트를 할당, GOP 크기, 예측영상열 내의 화질개선 대상영상의 위치결정 등을 포함하도록 GOP 구조를 설정하며(1202) : 1단계, GOP 내에서 부 GOP 단위로 화질개선 대상영상이 있는지 검사한 후 (1203) 대상영상이 없으면 먼저 기준영상열(1204)을 기존의 동영상 압축방식에 의해 압축한 후(1205), 예측영상열(1206)을 압축(1209)하고 ; 2단계, 대영상이 있는 경우(1203)는 대상예측영상의 화질을 개선한 후(1207)이를 기준으로 해당 기준영상을 시차예측 압축하는 본 발명의 압축방식을 적용하며(1208), 현재 GOP 내의 잔여 압축대상 영상 유무 및 다음 GOP 의 지속여부를 검토하여(1210) 최종 영상까지(1211) 상술된 방식에 의한 압축을 수행하므로서, 영상신호 특성의 급격한 변화 및 GOP 중반 이후에 발생하는 화질열화 현상의 극복을 위한 입체영상의 압축방식이다 : 3단계That is, in order to compress a stereoscopic image (1201), the present invention divides a priority reference image sequence and a predicted image sequence and then allocates a certain compression result bit, and allocates a GOP size, a GOP (Step 1202). If there is no target image in step 1203 (step 1203), the reference image sequence 1204 is first compressed by the existing moving image compression method (1205) compresses (1209) the prediction image sequence 1206; In step 1203, the image quality of the target prediction image is improved (1207), and the compression method of the present invention for performing the differential prediction compression on the reference image is applied (1208). In step 1208, The presence or absence of the residual compression object image and the continuity of the next GOP are examined (1210) and the compression is performed in the above-described manner up to the final image (1211), so that the abrupt change of the video signal characteristic and the deterioration of image quality It is a compression method of stereoscopic image for overcoming: Step 3
이하 본 발명의 실시예를 첨부된 도면에 따라 상술한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도13 및 도14는 본 발명에 의한 입체동영상 압축의 일실시예이다.13 and 14 show one embodiment of stereoscopic moving image compression according to the present invention.
도13은 움직임예측(1301)과 시차예측(1302) 내지(1303)을 압축하는 경우 우선 비트 할당량 증가 및 인트라 압축 등을 통해 예측영상(1304)의 화질을 개선한 후 같은 위치의 기준영상(1305)을 기준영상열내의 이전 P-픽쳐(1307)를 기준으로 한 움직임예측을 수행하지 않고, 예측 영상열내의 본 발명에 의해 화질이 개선된 영상 (1304)을 기준으로 한 시차예측(1306)을 수행하여 압축하므로써 두영상(1304 내지 1305)의 화질은 물론 이후의 예측영상열 및 기준영상열의 화질까지도 개선하는 입체영상의 압축방식이다.13 is a flowchart illustrating a method of enhancing the quality of the predicted image 1304 by increasing the bit allocation amount and intra compression when the motion prediction 1301 and the parallax predictions 1302 to 1303 are compressed, (1306) based on the image 1304 whose image quality is improved by the present invention in the predicted image sequence without performing motion prediction based on the previous P-picture 1307 in the reference image sequence Thereby improving the image quality of the two images 1304 to 1305 as well as the image quality of the subsequent predicted image sequence and the reference image sequence.
도14의 본 발명 적용예는 입체영상을 예측영상열과 기준영상열간에 시차예측(1403 내지 1404)만을 적용하여 압축하는 경우의 적용예로써, 도13의 경우와 같이 화질개선대상 영상들(1401 내지 1402)을 압축하는 경우 우선 비트할당량 증가 및 인트라 압축 등을 통해 예측영상(1401)의 화질을 개선한 후 같은 위치의 기준영상을 기준영상열 내의 이전 P-픽쳐(1406)를 기준으로 한 움직임예측을 수행하지 않고, 예측영상열 내의 본 발명에 의해 화질이 개선된 영상(1401)을 기준으로 한 시체예측(1405)을 수행하여 압축하므로써 두영상(1401 내지 1402)의 화질을 개선함은 물론 이후에 압축될 예측영상열 및 기준영상열의 화질까지 개선하는 입체영상의 압축방식이다.The application example of the present invention shown in FIG. 14 is an application example in which a stereoscopic image is compressed by applying only a parallax prediction 1403 to 1404 to a predicted image sequence and a reference image sequence, 1402), the quality of the predicted image 1401 is improved through the increase of the bit allocation amount and the intra compression, and then the reference image of the same position is predicted by the motion prediction The image quality of the two images 1401 to 1402 is improved by performing the body prediction 1405 based on the image 1401 whose image quality is improved by the present invention in the predicted image sequence, The image quality of the predicted image string to be compressed and the reference image string to be compressed are improved.
이같은 본 발명을 적용하여 입체영상을 압축하는 경우 GOP 중반 이후에서 발생되는 화질열화나 영상의 급격한 변화에 따른 영상들의 화질열화를 미연에 방지할 수가 있게 된다.When the stereoscopic image is compressed by applying the present invention as described above, deterioration of image quality caused by the middle or after the GOP and deterioration of image quality due to abrupt change of the image can be prevented in advance.
Claims (2)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019960047392A KR100239867B1 (en) | 1996-10-19 | 1996-10-19 | Method of compressing solid moving picture for controlling degradation of image quality in case of applying motion estimation and time difference estimation |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019960047392A KR100239867B1 (en) | 1996-10-19 | 1996-10-19 | Method of compressing solid moving picture for controlling degradation of image quality in case of applying motion estimation and time difference estimation |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR19980028347A KR19980028347A (en) | 1998-07-15 |
| KR100239867B1 true KR100239867B1 (en) | 2000-01-15 |
Family
ID=19478374
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1019960047392A KR100239867B1 (en) | 1996-10-19 | 1996-10-19 | Method of compressing solid moving picture for controlling degradation of image quality in case of applying motion estimation and time difference estimation |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100239867B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20000056447A (en) * | 1999-02-22 | 2000-09-15 | 윤종용 | Audio signal compressing apparatus |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100748719B1 (en) * | 2005-07-14 | 2007-08-13 | 연세대학교 산학협력단 | Apparatus and method for 3-dimensional modeling using multiple stereo cameras |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5058186A (en) * | 1987-02-18 | 1991-10-15 | Hitachi, Ltd. | Method and apparatus for image compression |
-
1996
- 1996-10-19 KR KR1019960047392A patent/KR100239867B1/en not_active IP Right Cessation
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5058186A (en) * | 1987-02-18 | 1991-10-15 | Hitachi, Ltd. | Method and apparatus for image compression |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20000056447A (en) * | 1999-02-22 | 2000-09-15 | 윤종용 | Audio signal compressing apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| KR19980028347A (en) | 1998-07-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5708473A (en) | Two stage video film compression method and system | |
| EP1999958B1 (en) | Method of reducing computations in intra-prediction mode decision processes in a digital video encoder | |
| KR100312603B1 (en) | A method for computational graceful degradation in an audiovisual compression system | |
| US7330509B2 (en) | Method for video transcoding with adaptive frame rate control | |
| US5731850A (en) | Hybrid hierarchial/full-search MPEG encoder motion estimation | |
| KR100253931B1 (en) | Approximate mpeg decoder with compressed reference frames | |
| EP0811951B1 (en) | System and method for performing motion estimation in the DCT domain with improved efficiency | |
| US8077769B2 (en) | Method of reducing computations in transform and scaling processes in a digital video encoder using a threshold-based approach | |
| US20070199011A1 (en) | System and method for high quality AVC encoding | |
| EP0577337A2 (en) | Spatially scalable video coding facilitating the derivation of variable-resolution images | |
| US7787541B2 (en) | Dynamic pre-filter control with subjective noise detector for video compression | |
| JPH09224254A (en) | Device and method for estimating motion | |
| KR100238622B1 (en) | A motion video compression system with novel adaptive quantisation | |
| US20050089098A1 (en) | Data processing apparatus and method and encoding device of same | |
| US5757967A (en) | Digital video decoder and deinterlacer, format/frame rate converter with common memory | |
| EP1838108A1 (en) | Processing video data at a target rate | |
| JP3463291B2 (en) | Method and apparatus for decoding and displaying a compressed digital video sequence | |
| KR100364748B1 (en) | Apparatus for transcoding video | |
| US6040875A (en) | Method to compensate for a fade in a digital video input sequence | |
| KR100239867B1 (en) | Method of compressing solid moving picture for controlling degradation of image quality in case of applying motion estimation and time difference estimation | |
| KR101307469B1 (en) | Video encoder, video decoder, video encoding method, and video decoding method | |
| KR0174444B1 (en) | Motion compensated apparatus for very low speed transmission | |
| JPH07222165A (en) | Video signal encoding method | |
| Pan | Digital Video Coding–Techniques and Standards | |
| Haskell et al. | MPEG-2 Video Coding and Compression |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| LAPS | Lapse due to unpaid annual fee |