KR0181031B1

KR0181031B1 - 움직임 보상된 인터폴레이션에서의 엣지 보상 장치

Info

Publication number: KR0181031B1
Application number: KR1019950005859A
Authority: KR
Inventors: 이민섭
Original assignee: 배순훈; 대우전자주식회사
Priority date: 1995-03-20
Filing date: 1995-03-20
Publication date: 1999-05-01
Also published as: US5638129A; CN1131880A; JPH08275179A; JP3067607B2; CN100388793C; KR960036770A

Abstract

본 발명은 움직임 보상 인터폴레이션에서의 엣지의 시각적 연결을 보다 정확하게 되도록 개선된 장치에 관한 것으로, 이를 해결하기 위하여 현프레임의 엣지점을 추출하는 엣지 추출부와, 엣지의 대표 정보인 특징점을 추출하는 특징점 추출부와, 저장되어 있던 이전 프레임의 엣지점 정보와 현프레임의 엣지 정보 및 특징점을 근거로 현프레임의 화소에 대한 움직임 벡터값들을 추출하는 움직임 벡터 추출부와, 엣지 정보에 대한 움직임 벡터값과 이 엣지 정보를 중심으로 하여 주변 엣지 정보에 대한 움직임 벡터값을 인터폴레이션하는 제1 인터폴레이션 처리부와, 엣지점 이외의 점에 대한 움직임 벡터를 인터폴레이션 하는 제2 인터폴레이션 처리부와, 제1,2 인터폴레이션에 의해 얻어진 움직임 벡터를 종합하여 프레임의 움직임 벡터값을 제공하는 움직임 보상된 인터폴레이션 처리부를 포함하도록 구성된다.

Description

움직임 보상된 인터폴레이션에서의 엣지 보상 장치

제1도는 본 발명에 따른 움직임 보상된 인터폴레이션에서의 엣지 보상 장치도.

제2도는 기존의 블록을 이용한 움직임 보상된 인터폴레이션에서의 엣지점을 설명하기 위한 도면.

제3도는 제1도를 일예로서 설명하기 위한 도면.

* 도면의 주요부분에 대한 부호의 설명

100 : 엣지 추출부 200 : 특징점 추출부

300 : 움직임 벡터추출부 400 : 제1인터폴레이션 처리부

500 : 제1인터폴레이셔 처리부

600 : 움직임 보상된 인터폴레이션 처리부

본 발명은 엣지의 특징점을 이용한 부호화 장치에 관한 것으로서, 특히 움직임 보상 인터폴레이션에서의 엣지의 시각적 연결을 보다 정확하게 되도록 개선한 장치에 관한 것이다.

이 기술분야에 잘 알려진 바와 같이, 디지털화된 화상 신호는 아나로그 신호보다 좋은 화질을 유지할 수 있다. 그러나, 일련의 이미지 프레임으로 구성된 이미지 신호가 디지털 형태로 표현될 때, 특히 고화질 텔레비젼(HD TV)의 경우에는 방대한 데이터가 전송되어야 한다. 이에 반하여 전송 채널의 사용 가능한 주파수 영역은 제한됨으로 많은 양의 디지털 데이터를 전송하기 위해서는 이 데이터를 압축할 필요가 있다.

그래서 다양한 압축 기법이 개발되고 있으나, 이들 중에서, 확률적 부호화 기법과 시간적 공간적 압축기법을 결합한 하이브리드 부호화 기법이 가장 효율적인 것으로 알려져 있다.

한편, 대부분의 하이브리드 부호화기법은 움직임 보상 차분 펄스 부호 변조(DPCM), 2차원의 이산 코사인 변환(DCT), DCT 계수의 양자화, 가변길이 부호기(VLC)등을 이용한다.

상술된, 움직임 보상 DPCM 은 현재 프레임과 이전 프레임 사이의 물체 움직임을 결정하고, 이 결정된 물체의 움직임에 따라 현재 프레임을 예측하여 현재 프레임과 예측치간의 차이를 나타내는 차분 신호를 부호화하는 방법이다.

또한, 2차원 DCT는 이미지 데이터간의 공간적 중복성을 제거하는 것으로서, 디지털 이미지 데이터 블록, 예를 들면 8X8 블록을 DCT 변환 계수로 변환시킨다. 이러한 DCT 변환 계수는 양자화기, 지그 재그 주사, VLC 등을 통해 처리됨으로써 전송할 데이터의 양을 효과적으로 감축할 수 있다.

특히, 움직임보상 DPCM 에서는 현재 프레임과 이전 프레임간에 추정된 물체의 움직임에 따라, 현재 프레임을 이전 프레임으로부터 예측하는 것으로, 추정된 움직임은 이전 프레임과 현재 프레임간의 변위를 나타내는 2차원 움직임 벡터로 나타낼 수 있다.

통상적으로, 옵젝트(물체)의 화소 변위를 추정할 수 있는 여러 가지의 접근 방법이 있으며, 이들은 일반적으로 두종류로 분류되는데 하나는 블록 단위의 움직임 추정 방법이고 다른 하나는 화소 단위의 움직임 추정 방법이다.

한편, 상기한 움직임 추정 방법중 화소 단위 움직임 추정 방법을 이용하면, 변위는 각각의 화소 전부에 대해 구할 수 있으므로 화소값을 보다 더 정확히 추정할 수 있으나, 연산량이 많다는 단점이 있다.

블록 단위 움직임 추정에서는, 현재 프레임의 블록을 이전 프레임의 블록들과 비교하여 최적 정합 블록을 결정한 다음, 이로부터, 전송되는 현재 프레임에 대해 블록 전체에 대한 프레임간 변위 벡터(프레임간에 블록이 이동한 정도)가 추정된다.

그러나, 이와 같은 블록 단위 움직임 추정에서는 움직임 보상 과정에서 블록 경계에 블록킹 효과(blocking effect)가 발생된다.

또한, 블록을 이용한 움직임 보상된 인터폴레이션 (Motion Compensated Interpolation)에서는 제2도에 도시된 바와 같이 정형의 블록을 사용하기 때문에 엣지상에 불연속이 발생됨으로 자연스런 연결이 안됨으로 화질이 저하되는 단점이 있다.

본 발명은 이러한 단점을 해결하기 위한 것으로서, 본 발명의 목적은 엣지의 불연속이 발생되는 부분을 보다 자연스럽게 유지할 수 있는 엣지 보상 장치를 제공하는데 있다.

이러한 목적을 달성하기 위하여 본 발명은 이전 영상에 대한 엣지점들을 추출하고, 이 추출된 엣지점들을 저장하며, 현재 입력되는 현프레임을 부호화하는 부호화 장치에 있어서: 현프레임의 엣지점을 추출하는 엣지 추출부와; 엣지 추출부에서 추출된 엣지 정보들중 대표될 수 있는 엣지 의 대표 정보인 특징점을 추출하는 특징점 추출부와; 저장되어 있던 이전 프레임의 엣지 점 정보와 현프레임의 엣지 정보 및 특징점을 근거로 현프레임의 화소에 대한 움직임 벡터값들을 추출하는 움직임 벡터 추출부와; 움직임 벡터 추출부에서 추출된 소정의 엣지 정보에 대한 움직임 벡터값과 소정의 엣지 정보를 중심으로 하여 주변 엣지 정보에 대한 움직임 벡터값을 인터폴레이션하는 제1 인터폴레이션 처리부와; 제1 인터폴레이션 처리부에서 처리되지 않은 엣지점 이외의 점에 대한 움직임 벡터를 인터폴레이션 하는 제2 인터폴레이션 처리부와; 제1,2 인터폴레이셔에 의해 얻어진 움직임 벡터를 종합하여 프레임의 움직임 벡터값을 제공하는 움직임 보상된 인터폴레이션 처리부를 구비한다.

이하, 예시된 도면을 참조하여 본 발명의 실시예를 들어 설명한다.

제1도는 본 발명에 대한 엣지점상의 특징점을 이용한 움직임 보상된 인터폴레이션에서의 시각적 연결성을 유지하는 장치로서, 엣지 추출부(100)와, 특징점 추출부(200), 움직임 벡터 추출부(300), 제1,2 인터폴레이션 처리부(400)(500) 및 움직임 보상된 인터폴레이션 처리부(600)를 포함한다.

엣지 추출부(100)는 현프레임의 이미지에 대한 윤곽 정보를 나타내는 엣지만을 추출하여 특징점 추출부(200)와 움직임 벡터 추출부(300)로 제공하도록 구성된다.

특징점 추출부(200)는 엣지 추출부(100)에서 추출된 엣지점들중 움직임을 대표할 수 있는 대표점(특징점)을 선택하여 움직임 벡터 추출부(300)로 제공하도록 구성된다.

움직임 벡터 추출부(300)는 전영상의 엣지점들과 현프레임을 구성하는 엣지점 및 특징점을 제공받음과 더불어 현프레임의 화소에 대한 움직임 벡터값들을 추출하는 제1 인터폴레이션 처리부(400)에 제공하도록 구성된다.

제1 인터폴레이션 처리부(400)는 움직임 벡터 추출부(300)의 엣지 정보에 대한 움직임 벡터값과 이 엣지 정보의 주변 엣지 정보에 대한 움직임 벡터값을 평균을 구하고, 이렇게 구한 평균값과 이전의 값에 대한 차분을 구한 후, 소정의 임계값과 비교 결과를 통해 얻어진 엣지 정보에 대한 움직임 벡터값들을 제공하도록 구성되며, 이때 특징점은 제외된다.

제2 인터폴레이션 처리부(500)는 제1인터폴레이션 처리부(400)에서 처리되지 않은 상기 엣지점 이외의 점에 대한 움직임 벡터를 인터폴레이션하여 움직임 보상된 인터폴레이션 처리부(600)로 제공하도록 구성된다.

움직임 보상된 인터폴레이션 처리부(600)는 제1, 2 인터폴레이션 처리부(400)(500)에 의해 얻어진 움직임 벡터를 종합하여 현프레임의 움직임 벡터값을 출력하도록 구성된다.

이와 같이 구성된 본 발명의 엣지 보상 장치의 동작을 설명하면 다음과 같다.

우선, 영상 신호의 이미지(이전 프레임)에 대한 윤곽선 즉, 엣지 정보가 추출된 후 이전 프레임 메모리에 저장되어 있다가 라인(101)을 통해 움직임 벡터 추출부(300)로 제공된다.

그리고 현 프레임은 라인(102)을 통해 전달되어 엣지 추출부(100)에 제공되며, 이 엣지 추출부(100)에서는 이미지의 영역간 밝기 및 루미넌스등의 차이를 이용하여 엣지점을 추출하게 되는데, 이 엣지점은 인간의 시각에 쉽게 띄는 옵젝트(물체)의 윤곽선 및 외곽선이다. 이렇게 추출된 현프레임의 엣지 정보는 각각 라인(103)(104)을 통해 특징점 추출부(200)와 움직임 벡터 추출부(300)로 제공된다.

특징점 추출부(200)에서는 엣지 추출부(100)로부터 전달된 엣지점들중 현프레임의 옵젝트의 움직임을 대표할 수 있는 특징점을 추출한 다음 라인(105)을 통해 상기 움직임 벡터 추출부(300)로 제공되는 엣지점과 함께 전달된다.

움직임 벡터 추출부(300)에서는 현프레임의 엣지점과 특징을 제공받고, 또한, 이미 전영상에 대해 추출된 엣지점을 제공받는다. 그리고, 이전 프레임의 화소들과 현프레임의 화소들을 일대일 대응시켜서 이전 프레임으로부터 현프레임의 움직임 변위를 구한 움직임 벡터 정보를 상기 각 화소 정보와 함께 제1 인터폴레이션 처리부(400)로 제공한다.

참고로, 제3도에 도시된 도면으로 참조하면, 복수의 (×)은 엣지점들을 나타내며, (●)은 특징점을 나타낸다.

그리고, 이와 같은 엣지점에 대한 엣지 정보가 제1 인터폴레이션 처리부(400)로 제공되면, 제1 인터폴레이션 처리부(400)에서는 움직임 벡터값이 주어지지 않은 각 화소에 대해 주변에 있는 특징점을 이용하여 주어지지 않은 각 화소에 대한 움직임 벡터를 구하게 된다. 즉, a,b,c의 화소 위치에서의 움직임 벡터값은 주변 8개의 화소와 자신의 움직임 벡터값의 평균으로 대치시킨다. 이와 같은 방법은 특징점을 제외한 모든 화소에 대하여 적용시키고, 이 대치된 값과 전값을 뺄셈처리하여 얻어진 값이 임계값보다 작을때까지 상술된 동작을 반복 수행하게 되는데, 이와 같은 방법은 모든 화소점에서 대치되지 않은 시점이 움직임 벡터 인터폴레이션(motion vector interpolation)된 것이다. 이와 같은 동작만을 수행하게 될 경우에는 완전하게 엣지점에 대한 움직임이 보상되었다고 할 수 없다.

제2 인터폴레이션 처리부(500)에서 제1 인터폴레이션 처리부(400)로부터 처리된 엣지점외에 대한 움직임 벡터값을 상기와 동일한 동작을 수행함으로써 구해진다. 이렇게 구한 데이터는 움직임 보상된 인터폴레이션 처리부(600)로 제공된다.

즉, 엣지점들은 일차적으로 이들 엣지점들에 대하여 인터폴레이션을 해주게 됨으로, 별도의 엣지점으로부터 영향을 받지 않기 때문에 현프레임의 옵젝트의 윤각선은 부드러운 연결을 유지할 수 있게 된다.

이상에서 설명한 바와 같이 본 발명은 블록을 이용한 움직임 보상된 인터폴레션에서 발생되는 엣지상의 불연속 현상을 제거함으로써 보다 부드러운 엣지점을 연결할 수 있으므로 복호시, 고화질을 유지할 수 있는 것이다.

본 발명은 비록 특정 실시예를 참조하여 설명하였지만, 본 기술분야에 통상의 지식을 가진자라면 첨부된 청구범위의 사상과 범주를 벗어나지 않고 다양하게 변경하여 실시 할 수 있음을 이해할 것이다.

Claims

이전 영상에 대한 엣지점들을 추출하고, 이 추출된 엣지점들을 저장하며, 현재 입력되는 현프레임을 부호화하는 부호화 장치에 있어서: 현프레임의 엣지점을 추출하는 엣지 추출부와; 상기 엣지 추출부에서 추출된 엣지 정보들중 대표될 수 있는 엣지의 대표 정보인 특징점을 추출하는 특징점 추출부와; 상기 저장되어 있던 이전 프레임의 엣지점 정보와 상기 현프레임의 엣지 정보 및 특징점을 근거로 현프레임의 화소에 대한 움직임 벡터값들 추출하는 움직임 벡터 추출부와; 상기 움직임 벡터 추출부에서 추출된 소정의 엣지 정보에 대하 움직임 벡터값과 상기 소정의 엣지 정보를 중심으로 하여 주변 엣지 정보에 대하 움직임 벡터값을 인터폴레이션하는 제1 인터폴레이션 처리부와; 상기 제1 인터폴레이션 처리부에서 처리되지 않은 상기 엣지점 이외의 점에 대한 움직임 벡터를 인터폴레이션 하는 제2 인터폴레이션 처리부와; 상기 제1,2 인터폴레이션에 의해 얻어진 움직임 벡터를 종합하여 프레임의 움직임 벡터값을 제공하는 움직임 보상된 인터폴레이션 처리부를 포함함을 특징으로 하는 움직임 보상된 인터폴레이션에서의 엣지 보상 장치.
제1항에 있어서, 상기 제1인터폴레이션 처리부는, 상기 움직임 벡터 추출부의 엣지 정보에 대한 움직임 벡터값과 이 엣지 정보의 주변 엣지 정보에 대한 움직임 벡터값의 평균을 구하고, 이 구한 평균값에서 이전의 값이 차분된 값과 소정의 임계값을 비교하여 엣지 정보에 대한 움직임 벡터값들을 제공함을 특징으로 하는 움직임 보상된 인터폴레이션에서의 엣지 보상 장치.