KR101303879B1

KR101303879B1 - 영상 처리 장치 및 방법

Info

Publication number: KR101303879B1
Application number: KR1020060060847A
Authority: KR
Inventors: 남동경; 유호준; 홍선기
Original assignee: 삼성전자주식회사
Priority date: 2006-06-30
Filing date: 2006-06-30
Publication date: 2013-09-04
Also published as: JP2009542153A; US20080002915A1; KR20080002181A; US7885488B2; JP5021735B2; WO2008002009A1

Abstract

본 발명은 영상 처리 장치 및 방법에 관한 것으로서, 디지털 영상에 포함된 각 픽셀 영역에서의 픽셀 값과 소정 보간 방식에 의하여 추출된 보간 데이터의 평균 값이 동일하도록 보간을 수행하는 영상 처리 장치 및 방법에 관한 것이다.

본 발명의 실시예에 따른 영상 처리 장치는 소정 영상에 포함된 픽셀 값에 대한 순차적인 적분을 수행하는 누적 가산부와, 소정 보간 방식을 이용하여 상기 적분된 결과에 대한 보간을 수행하는 보간부 및 상기 보간된 결과의 소정 위치에서 미분을 수행하는 누적 감산부를 포함한다.

영상, 보간, 적분, 미분

Description

영상 처리 장치 및 방법{Apparatus and method for image processing}

도 1은 본 발명의 실시예에 따른 영상 처리 장치를 나타낸 블록도이다.

도 2는 본 발명의 실시예에 따른 보간 결과를 그래프로 나타낸 도면이다.

도 3a 내지 도 3b는 종래의 보간 방식에 의한 결과와 본 발명의 실시예에 따른 보간 결과를 그래프로 나타낸 도면이다.

도 4a 내지 도 4e는 본 발명의 실시예에 따른 보간 결과가 형성되는 과정을 나타낸 개념도이다.

도 5는 본 발명의 실시예에 따른 서로 다른 기울기의 보간 결과를 나타낸 도면이다.

도 6은 본 발명의 실시예에 따른 영상 처리 과정을 나타낸 흐름도이다.

도 7a 내지 7c는 본 발명의 실시예에 따라 처리된 영상 및 그 결과를 나타낸 도면이다.

도 8a 내지 도 8f는 본 발명의 실시예에 따라 처리된 영상 및 그 과정을 나타낸 도면이다.

<도면의 주요 부분에 관한 부호의 설명>

110 : 픽셀 값 추출부 120 : 누적 가산부

130 : 보간부 140 : 누적 감산부

150 : 제어부 160 : 영상 입력부

170 : 저장부 180 : 영상 출력부

본 발명은 영상 처리 장치 및 방법에 관한 것으로서, 더욱 상세하게는 디지털 영상에 포함된 각 픽셀 영역에서의 픽셀 값과 소정 보간 방식에 의하여 추출된 보간 데이터의 평균 값이 동일하도록 보간을 수행하는 영상 처리 장치 및 방법에 관한 것이다.

과거에는 신호 또는 정보를 처리하기 위하여 아날로그 방식을 이용하였으나 이는 점차로 디지털 방식으로 전환되었고, 현재에는 실생활의 많은 분야가 디지털화 되어 가고 있다.

특히, 영상 분야에서 이러한 현상은 두드러지게 나타나고 있는데, 아날로그 TV는 디지털 TV로 대체되어 가는 추세이고, 아날로그 카메라도 디지털 카메라로 대체되어 가고 있다.

이에 따라, 디지털 영상 처리(Digital Image Processing)에 대한 많은 연구가 진행 중에 있으며 그 중 영상 보간(Image Interpolation)에 대한 연구도 활발하게 진행 중이다.

일반적으로, 영상 보간 방법으로는 선형 보간(Linear Interpolation), 최근접 화소 보간(Nearest Neighbor Interpolation), 큐빅 보간(Cubic Interpolation) 및 큐빅-스플라인 보간(Cubic-Spline Interpolation) 등이 있다. 그러나, 이러한 방법들은 모두 인접 픽셀을 점으로 간주하여 보간을 수행하는 방법이다.

하지만, 디지털 영상의 경우 각각의 픽셀은 영역으로 간주될 수 있다. 디지털 카메라 또는 스캐너 등의 영상 입력 장치로 대상체를 촬영한 경우, 영상 입력 장치는 렌즈를 통해 모아진 빛의 양을 CCD와 같은 수광 소자를 통해 디지털화 한다. 따라서, 각 픽셀은 렌즈를 통해 입력된 일정 영역에서 특정 밝기의 평균 값을 갖게 된다. 이는 컴퓨터를 통해 생성된 그래픽 영상도 마찬가지이다.

이와 같은 이유로, 영상 데이터를 기존의 점 기반 보간 방법으로 보간할 경우 의도하지 않은 오차와 왜곡이 발생할 수 있다. 이러한 왜곡이 영상의 품질에 미치는 대표적인 효과는 보간을 통해 복원된 영상이 실제 영상보다 부드러워(smooth)지게 되어, 흐림(blurring)이 발생하는 것이다.

디지털 영상 처리 기술 특히, 디지털 영상 보간 기술 TV, 모니터를 비롯한 영상 출력 장치, 프린터 등의 인쇄 장치 및 카메라와 스캐너와 같은 영상 입력 장치에 사용될 수 있으며, 그 사용 영역으로는 군사, 의료, 방송, 산업 및 가전 등 많은 분야가 포함될 수 있다. 또한, 사용자들의 의식 수준 향상으로 인하여 그 품질의 향상이 중요하게 작용하고 있는데 이에 따라, 보다 빠르고 보다 고품질의 영상 제공이 디지털 영상 처리 분야에서 중요한 요소로 작용하게 된다.

따라서, 주어진 영상 정보만을 이용하여 연산 시간이 많이 소요되지 않는 상태에서 고품질의 보간된 영상을 추출하는 발명의 등장이 요구된다.

본 발명은 일련의 디지털 영상 데이터를 순차적으로 적분하고, 이에 따라 형성된 그래프를 미분하여 해당 디지털 영상에 대한 보간을 수행하는데 그 목적이 있다.

본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해되어질 수 있을 것이다.

상기 목적을 달성하기 위하여, 본 발명의 실시예에 따른 영상 처리 장치는 소정 영상에 포함된 픽셀 값에 대한 순차적인 적분을 수행하는 누적 가산부와, 소정 보간 방식을 이용하여 상기 적분된 결과에 대한 보간을 수행하는 보간부 및 상기 보간된 결과의 소정 위치에서 미분을 수행하는 누적 감산부를 포함한다.

본 발명의 실시예에 따른 영상 처리 방법은 소정 영상에 포함된 픽셀 값에 대한 순차적인 적분을 수행하는 단계와, 소정 보간 방식을 이용하여 상기 적분된 결과에 대한 보간을 수행하는 단계 및 상기 보간된 결과의 소정 위치에서 미분을 수행하는 단계를 포함한다.

기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태 로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.

도 1은 본 발명의 실시예에 따른 영상 처리 장치를 나타낸 블록도로서, 영상 처리 장치(100)는 픽셀 값 추출부(110), 누적 가산부(120), 보간부(130), 누적 감산부(140), 제어부(150), 영상 입력부(160), 저장부(170) 및 영상 출력부(180)를 포함하여 구성된다.

영상 입력부(160)는 영상을 입력받는 역할을 한다. 여기서, 입력된 영상은 아날로그 영상 또는 디지털 영상일 수 있는데, 영상 입력부(160)는 입력된 아날로그 영상을 디지털로 변환할 수도 있다.

픽셀 값 추출부(110)는 영상 입력부(160)로 입력된 영상에 포함된 픽셀의 픽셀 값을 순차적으로 추출하는 역할을 한다. 예를 들어, 픽셀 값 추출부(110)는 좌측 상단에 위치한 픽셀을 시작으로 하여 우측으로 한 칸씩 이동하면서 해당 픽셀의 픽셀 값을 추출하는 것이다.

여기서, 픽셀 값은 영상 입력부(160)로 입력된 영상의 컬러 모델에 따라 달라질 수 있으며 이에 따라, 픽셀 값은 RGB(Red, Green, Blue) 모델, CMYK(Cyan Magenta Yellow blacK) 모델, CIE(Commission Internationale de l'Eclairage) LAB 모델, CIE XYZ 모델 또는 CIE LUV 모델에 의한 색의 강도를 포함한다.

누적 가산부(120)는 픽셀 값 추출부(110)에 의하여 추출된 픽셀 값을 누적시켜 합산하는 역할을 한다. 예를 들어, 입력된 영상의 색 분포가 흑백으로 구성되어 있고, 추출된 픽셀 값이 100, 125, 200과 같이 진행되는 경우 누적 가산부(120)에 의하여 누적된 값은 100, 225, 425와 같이 진행되는 것이다.

누적 가산부(120)의 역할에 대한 물리적인 의미는, 점 기반의 픽셀을 영역 기반의 픽셀로 변환하는 것이다. 즉, 누적 가산부(120)는 하나의 픽셀이 차지하는 영역(이하, 픽셀 영역이라 한다)을 점 기반에서 영역 기반으로 변환하는 것으로서, 아날로그 신호를 누적하기 위해서는 일반적으로 공간에 대하여 적분을 사용하게 되지만, 디지털 영상 데이터는 이산 데이터이므로 누적 가산부(120)는 각 데이터(픽셀 값)를 누적 합산하는 방식으로 적분을 수행하게 된다.

누적 가산부(120)에 의하여 누적된 픽셀 값은 임시로 저장되어 있는 것이 바람직한데 이에 따라, 영상 처리 장치(100)에는 저장부(170)가 구비되어 있을 수 있다.

저장부(170)는 하드 디스크, 플래시 메모리, CF 카드(Compact Flash Card), SD 카드(Secure Digital Card), SM 카드(Smart Media Card), MMC(Multimedia Card) 또는 메모리 스틱(Memory Stick) 등 정보의 입출력이 가능한 모듈로서 영상 처리 장치(100)의 내부에 구비되어 있을 수도 있고, 별도의 장치에 구비되어 있을 수도 있다.

보간부(130)는 소정 보간 방식을 이용하여 누적 가산부(120)에 의하여 적분 된 결과에 대한 보간을 수행한다. 이에 따라, 하나의 픽셀 영역에 복수 개의 서로 다른 보간 데이터가 존재할 수 있게 된다. 이 때, 보간부(130)는 특정 픽셀이 존재하는 영역에서의 픽셀 값과 보간 데이터의 평균 값이 동일하게 되도록 보간을 수행할 수 있는데, 보간 방식으로는 1차 보간 방식(Linear Interpolation), 2차 보간 방식(Quadratic Interpolation), 3차 보간 방식(Cubic Interpolation), 가우시안 보간 방식(Gaussian Interpolation), 신경 회로망 보간 방식(Neural Network Interpolation) 또는 SVM 보간 방식(Support Vector Machine Interpolation) 등이 사용될 수 있다.

픽셀은 디지털화된 하나의 점으로서, 픽셀이 존재하는 영역 즉, 픽셀 영역 내에서는 하나의 픽셀 값만이 매핑될 수 있다. 그러나, 보간부(130)에 의한 보간 결과는 픽셀 영역 내에서도 가변될 수 있다. 즉, 순차적으로 추출된 픽셀을 1차원적으로 나열하고, 각 픽셀의 구간에 대응하는 정도의 간격을 두고 각 픽셀이 배치되어 있다고 할 때, 픽셀간의 간격과 픽셀 값의 곱으로 산출된 넓이는 해당 간격에서의 보간 결과의 누적 값과 동일하게 형성되는 것이다. 보간 결과에 대한 자세한 설명은 도 2를 통하여 후술하기로 한다.

누적 감산부(140)는 보간부(130)에 의한 보간 결과의 소정 위치에서 미분을 수행하는 역할을 한다. 즉, 누적 감산부(140)는 누적 가산부(120)에 의하여 영역 기반으로 변환된 픽셀을 점 기반으로 변환하는 역할을 수행하는 것이다.

아날로그 신호에 대한 이와 같은 역변환은 공간에 대한 미분으로 수행되지만, 디지털 영상 데이터는 이산 데이터이므로 누적 감산부(140)는 각 데이터를 누 적 차분하는 방식으로 미분을 수행하게 된다.

여기서, 픽셀 사이에서의 픽셀 값은 영상의 확대 비율에 따라 그 위치가 가변될 수 있다. 예를 들어, 영상의 가로 및 세로 비율이 각각 2배 확대되는 경우 픽셀 사이에서 픽셀 값이 매핑되는 위치는 해당 픽셀의 중앙에 해당되고, 영상의 가로 및 세로 비율이 각각 3배 확대되는 경우 픽셀 사이에서 픽셀 값이 매핑되는 위치는 해당 픽셀의 1/3 및 2/3 지점에 해당되는 것이다.

역변환에 의하여 임계 범위를 초과하는 픽셀 값이 산출될 수도 있는데 이 때, 누적 감산부(140)는 임계 범위를 초과하는 픽셀 값을 임계 범위 이내로 결정할 수 있다. 보간부(130)에 의한 보간 결과는 픽셀 값의 패턴에 따라 그 형태가 결정되는데 이에 따라, 픽셀 값이 가질 수 있는 임계 범위를 초과할 수 있다. 예를 들어, 픽셀 값이 0~255의 값을 가질 수 있는 경우 역변환을 통하여 산출된 픽셀 값이 0미만이거나 255초과일 수 있는 것이다. 이 때, 누적 감산부(140)는 0미만인 픽셀 값을 0으로 결정하거나 255초과인 픽셀 값을 255로 결정하는 것이다.

하나의 영상(동영상의 경우 하나의 프레임)에 대한 미분이 완료될 때까지 각 픽셀 영역 및 픽셀 사이의 픽셀 값은 저장부(170)에 임시로 저장될 수 있다.

영상 출력부(180)는 누적 감산부(140)에 의하여 추출된 픽셀 값에 따라 변환된 영상을 디스플레이하는 역할을 한다. 영상 출력부(180)는 입력된 영상 신호를 디스플레이할 수 있는 음극선관(CRT, Cathode Ray Tube), 액정 화면(LCD, Liquid Crystal Display), 발광 다이오드(LED, Light-Emitting Diode), 유기 발광 다이오드(OLED, Organic Light-Emitting Diode) 또는 플라즈마 디스플레이(PDP, Plasma Display Panel) 등의 영상 표시 수단이 구비된 모듈로서 전달 받은 영상 정보를 디스플레이하는 역할을 한다.

제어부(150)는 픽셀 값 추출부(110), 누적 가산부(120), 보간부(130), 누적 감산부(140), 영상 입력부(160), 저장부(170) 및 영상 출력부(180)간의 데이터 전달과 영상 처리 장치(100)의 전반적인 제어를 수행한다.

일련의 픽셀이 1차원적으로 배치된다고 할 때, 도 2에 도시된 바와 같이 각 픽셀간의 간격(250)만큼 픽셀의 위치(202)에 따라 가로 방향으로 그 매핑된 크기가 존재한다고 가정할 수 있다. 여기서, 세로 방향을 해당 픽셀의 픽셀 값(201)이라고 할 때, 해당 영역에서의 픽셀 값은 하나의 값만을 가질 수 있으므로 결국, 각각의 픽셀은 도 2에서와 같이 직사각형의 형태로 도시될 수 있다.

도 2에서 점선은 3차 보간 방식에 의한 결과(220)를 나타낸다. 전형적인 점 기반의 보간 방식인 3차 보간 방식에 의하면, 3차 보간 방식에 의한 결과(220)는 각 픽셀 점(290)을 통과하게 되어 있다. 여기서, 픽셀 점(290)은 2차원 픽셀 영역의 중앙을 연결한 연장선 중 픽셀 값이 매핑된 위치를 의미하는 것으로서 즉, 각 픽셀 영역의 중앙 상단(290)에 픽셀 값이 매핑되어 있다고 가정할 때, 3차 보간 방식에 의한 결과는 각 픽셀 영역의 중앙 상단(290)을 통과하도록 그 형태가 결정되는 것이다. 이는 영상을 확대함에 있어서 현재 존재하는 픽셀의 픽셀 값을 보존하는 데에는 효과적일 수 있으나 보간되는 픽셀의 픽셀 값을 결정하는 데에는 비효과적일 수 있다. 즉, 1차, 2차 또는 3차 보간 방식에 의하여 확대된 영상은 흐림 현 상(Blurring)을 수반하는 것이다.

이러한 흐림 현상은 각 픽셀 영역에서의 픽셀 값과 보간 데이터의 평균 값이 서로 상이한 것에 기인할 수 있는데 이를 다시 설명하면, 픽셀간의 간격(250)에 해당 픽셀의 픽셀 값(201)을 곱한 픽셀의 누적 값과, 픽셀간의 간격(250)에서의 해당 보간 결과의 누적 값이 서로 상이한 것에 기인하는 것이다. 이에 대한 자세한 설명은 도 3a 내지 도 3b를 통하여 후술하기로 한다.

도 2에서 실선은 본 발명의 실시예에 의한 보간 결과(210)를 나타낸다. 종래의 보간 방식에 의한 결과가 각 픽셀 점을 통과하는 것에 반하여 본 발명의 보간 결과(210)는 이에 구애받지 않고 픽셀 영역에서의 누적 값의 동일화에 기초를 둔다. 즉, 픽셀 영역에서의 픽셀의 누적 값과 보간 데이터의 누적 값이 동일하도록 보간 결과(210)가 형성되는 것이다. 전술한 바와 같이, 본 발명의 보간 결과(210) 또한 종래의 1차 보간 방식, 2차 보간 방식 또는 3차 보간 방식 등에 의하여 형성될 수 있는데, 종래의 방식에 의한 보간 결과와 본 발명의 보간 결과(210)와의 차이점은 픽셀 영역에서의 픽셀의 누적 값과 보간 결과의 누적 값간의 동일성에 있다고 할 수 있다. 여기서, 픽셀의 누적 값 또는 보간 결과의 누적 값은 누적 가산부(120)에 의하여 산출될 수 있다.

전술한 바와 같이, 일련의 픽셀이 1차원적으로 배치된다고 할 때, 각각의 픽셀은 각 픽셀간의 간격만큼 그 구간의 크기가 존재한다고 가정할 수 있다. 도 3에 서 각 픽셀에 대한 구간의 크기는 w(319)에 해당된다.

도 3a에서 3차 보간 방식에 의한 그래프(310)는 각 픽셀 영역의 중앙 상단에 매핑되어 있는 픽셀 값(311, 312, 313)을 통과하는 것을 나타내고 있다. 즉, 영상이 확대되는 경우 존재하고 있는 픽셀의 픽셀 값은 그대로 보존되면서 픽셀의 사이에 삽입되는 픽셀의 픽셀 값(314, 315)만이 그래프(310)에 의하여 산출되는 것이다.

한편, 도 3b는 본 발명의 실시예에 따른 보간 그래프(320)를 나타낸 도면으로서, 보간 그래프(320)는 각 픽셀 구간에 매핑되어 있는 픽셀 값(321, 322a, 323)에 무관하게 픽셀의 누적 값과 보간 그래프(320)에 의한 누적 값이 동일하도록 형성된다. 다시 말해, 픽셀 구간 내에서 픽셀 값에 의해서 나타나는 막대 그래프의 면적과 보간 데이터에 의해 형성된 함수의 면적이 동일하도록 형성되는 것이다. 도 3b에서 i번째 픽셀의 누적 값(351)은 픽셀간의 간격 즉, 픽셀에 대한 구간의 크기가 w(329)이고, 픽셀 값이 f(i) (322a)이므로 w×f(i)가 된다. 이 때, 도 3a에서와 같이 그래프(310)가 f(i) (312) 지점을 통과하게 되면 그래프(310)에 의한 누적 값이 픽셀의 누적 값보다 커지게 된다. 한편, 도 3b에서 i영역에서의 보간 그래프(320)에 의한 누적 값(352)은 픽셀의 누적 값(351)과 동일하게 된다.

이에 따라, 영상 확대 시 i영역에서의 픽셀 값은 f(i) (322a)보다 낮은 값인 P(i) (322b)가 되고, i-1번째 픽셀과 i번째 픽셀간에 보간되는 픽셀의 픽셀 값은 P(i-1) (324)이 되며, i번째 픽셀과 i+1번째 픽셀간에 보간되는 픽셀의 픽셀 값은 P(i+1) (325)이 된다.

다시 말해, 종래의 보간 방식은 존재하는 픽셀의 픽셀 값을 보존하는 반면 보간 후 그 구간 내에 존재하는 보간 데이터의 평균 값을 보존하지 않지만, 본 발명의 실시예에 따른 보간 방식은 존재하는 픽셀의 픽셀 값을 보존하지 않는 반면 보간 후 그 구간 내에 존재하는 보간 데이터의 평균 값을 보존하는 것이다.

따라서, 종래의 방식에 의한 경우 인접 픽셀간에 증감된 픽셀 값이 보간된 픽셀에도 영향을 미치게 되므로 흐림 현상이 두드러지게 발생하지만, 본 발명의 실시예에 의한 경우 이와 같은 흐림 현상을 감소시킬 수 있게 된다.

도 4a 내지 도 4e는 본 발명의 실시예에 따른 보간 결과가 형성되는 과정을 나타낸 개념도로서, 도 4a는 0~255의 픽셀 값을 갖는 일련의 픽셀이 1차원적으로 배치되어 있는 것을 나타낸다. 여기서, 픽셀 값은 하나의 차원에 대응되어 형성된 것으로 단색으로 구성된 것을 나타내고 있으나 이는 어디까지나 예시적인 것에 불과하며 그 구현 여부에 따라 컬러인 영상에도 응용하여 적용될 수 있다. 예를 들어, RGB 영상의 경우 R, G, B 각각에 본 발명을 적용하면 픽셀 영역의 평균 값이 보존되는 컬러 영상을 구현할 수 있다.

도 4b는 도 4a의 픽셀 패턴에 따른 픽셀의 누적 값을 나타낸다. 그리고, 도 4c는 도 4b의 누적 값을 기초로 형성된 보간 결과를 나타낸 그래프로서, 이는 각 픽셀 영역에서의 픽셀의 누적 값과 동일한 누적 값을 갖도록 형성된다.

도 4d는 도 4c의 그래프를 미분한 보간 그래프와 도 4a의 픽셀을 대응시켜 도시한 도면이고, 도 4e는 도 4d를 기초로 확대된 영상의 픽셀을 나타낸 도면이다. 여기서, 확대된 영상의 픽셀의 픽셀 값은 확대 전 영상에서 픽셀 영역의 중앙을 통 과하는 보간 그래프의 픽셀 값(441)과 인접 픽셀의 사이를 통과하는 보간 그래프의 픽셀 값(442)에 의하여 결정된다. 이에 대한 자세한 설명은 도 3을 통하여 전술하였으므로 생략하기로 한다.

한편, 특정 픽셀 영역에서 픽셀 값에 의한 누적 값(이하, 제 1 누적 값이라 한다)과 보간 그래프에 의한 누적 값(이하, 제 2 누적 값이라 한다)이 동일하게 되도록 하는 보간 그래프는 그 형태에 따라 다양하게 존재할 수 있다. 도 5는 이를 나타내고 있는데, 510과 같이 보간 그래프의 기울기를 완만하게 한 경우의 제 2 누적 값(515)과 520과 같이 보간 그래프의 기울기를 급격하게 한 경우의 제 2 누적 값(525)은 동일할 수 있는 것이다. 즉, 보간 그래프의 기울기에 따라 복원되는 영상의 품질이 달라질 수도 있는 것으로서, 보간 그래프의 기울기는 사용자에 의하여 적절하게 선택되어 입력되는 것이 바람직하다.

첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수 있음을 이해할 수 있을 것이다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴 퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑제되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.

또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실행예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.

영상 처리 장치(100)의 영상 입력부(160)는 영상을 입력받는다(S610). 여기서, 입력된 영상은 디지털 영상인 것이 바람직한데, 그 컬러 모델에 따라 가법 또는 감법 모델의 영상이 입력될 수도 있다.

입력된 영상은 픽셀 값 추출부(110)로 전달되고, 픽셀 값 추출부(110)는 전달받은 영상에 포함된 픽셀의 픽셀 값을 순차적으로 추출한다(S620). 여기서, 픽셀 값은 영상 입력부(160)로 입력된 영상의 컬러 모델에 따라 RGB 모델, CMYK 모델, CIE LAB 모델, CIE XYZ 모델 또는 CIE LUV 모델에 의한 색의 강도를 포함한다.

추출된 픽셀 값은 누적 가산부(120)로 전달되고, 누적 가산부(120)는 전달받은 픽셀 값을 누적시켜 합산한다(S630). 누적 가산부(120)에 의하여 누적된 픽셀 값은 저장부(170)에 임시 저장되고, 보간부(130)는 소정 보간 방식을 이용하여 저장부(170)에 저장된 픽셀 값에 대한 보간을 수행한다(S640). 이 때, 보간부(130)는 하나의 프레임에 대한 영상의 픽셀 값이 모두 저장부(170)에 저장된 후에 보간을 수행할 수 있으며, 픽셀 값이 누적될 때마다 보간을 수행해 나갈 수도 있다.

보간부(130)에 의해 수행되는 보간은 1차 보간 방식, 2차 보간 방식, 3차 보간 방식, 가우시안 보간 방식, 신경 회로망 보간 방식 또는 SVM 보간 방식에 의하여 수행될 수 있다.

보간 결과는 누적 감산부(140)로 전달되고, 누적 감산부(140)는 보간 결과의 소정 위치에서 미분을 수행한다(S650). 이 때, 미분을 수행함에 따라 추출된 픽셀 값이 임계 범위를 초과할 수도 있는데, 누적 감산부(140)는 추출된 픽셀 값이 임계 범위를 초과하는지 확인하여(S660) 임계 범위를 초과하는 픽셀 값을 임계 범위 이내로 결정할 수 있다(S670).

누적 감산부(140)에 의하여 추출된 픽셀 값은 저장부(170)에 임시로 저장되고, 보간 결과에 대한 픽셀 값 추출이 완료된 경우 영상 출력부(180)는 해당 영상 을 디스플레이한다(S680).

도 7a 내지 도 7c는 본 발명의 실시예에 따라 처리된 영상 및 그 결과를 나타낸 도면이다.

실험은 원래 영상(700)을 1차 보간 방식에 의하여 축소시킨 실험 영상(705)을 1차 보간 방식, 3차 보간 방식, 최근접 화소 보간 및 본 발명의 실시예에 따른 보간을 수행한 후에 각 확대된 영상(710, 720, 730, 740)과 원래 영상(700)간의 차이를 산출한 것으로 이루어진다.

도 7a에 도시된 바와 같이, 1차 보간 방식 및 3차 보간 방식에 의하여 확대된 영상(730, 740)에는 흐림 현상이 두드러지게 발생되고, 최근접 화소 보간 방식에 의하여 확대된 영상(720)에는 블록화 현상이 발생된 것을 알 수 있다. 반면, 본 발명의 실시예에 따른 보간 방식에 의하여 확대된 영상(710)은 1차 보간 방식, 3차 보간 방식 및 최근접 화소 보간 방식에 의하여 확대된 영상(720, 730, 740)에 비하여 흐림 현상 및 블록화 현상이 적게 발생됨을 알 수 있다.

도 7b는 실험 결과를 수치적으로 산출한 테이블(750)로서, 테이블(750)은 픽셀 오차(751), 밝기(752) 및 선명도(753)을 포함한다.

픽셀 오차(751)는 원래 영상에 포함된 픽셀과 확대된 영상에 포함된 픽셀을 1대1로 비교한 후 그 오차를 산출한 것으로서, 그 값이 작을수록 원래 영상과 유사한 것을 의미하는데, 본 발명의 실시예에 따른 보간 방식에 의한 오차가 종래의 보간 방식에 의한 오차보다 작게 산출됨을 나타낸다.

밝기(752)는 원래 영상의 밝기와 확대된 영상의 밝기를 비교한 것으로서, 원 래 영상의 밝기와 유사한 밝기를 나타낼수록 원래 영상과 유사한 것을 의미하는데, 본 발명의 실시예에 따른 보간 방식에 의한 오차가 종래의 보간 방식에 의한 오차보다 유사하게 산출됨을 나타낸다.

선명도(753)는 원래 영상의 선명도와 확대된 영상의 선명도를 비교한 것으로서, 원래 영상의 선명도와 유사한 선명도를 나타낼수록 원래 영상과 유사한 것을 의미하는데, 본 발명의 실시예에 따른 보간 방식에 의한 오차가 종래의 보간 방식에 의한 오차보다 유사하게 산출됨을 나타낸다.

도 7c는 도 7a의 실험에 의하여 확대된 영상 중 3차 보간 방식에 의한 영상, 본 발명의 실시예에 따른 보간 방식에 의한 영상 및 원래 영상에 포함된 픽셀 중 선택된 일련의 픽셀의 픽셀 값을 그래프(791, 792, 793)로 나타낸 도면이다.

도 7c에 도시된 바와 같이, 3차 보간 방식에 의한 그래프(793)보다 본 발명의 실시예에 의한 영상의 그래프(792)가 원래 영상의 그래프(791)와 유사하게 배치됨을 알 수 있다.

도 8a는 보간을 수행하기 전의 영상으로서, 이 영상은 도 8b와 같은 픽셀 값을 가지고 있으며 이를 본 발명의 실시예에 따라 변환하면 도 8c와 같이 나타난다. 그리고, 도 8c에 대한 보간 결과는 도 8d와 같으며, 이를 본 발명의 실시예에 따라 역변환하게 되면 도 8e와 같이 되고 이에 따라, 도 8a의 영상은 도 8f와 같이 변환되어 출력된다.

이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

상기한 바와 같은 본 발명의 영상 처리 장치 및 방법에 따르면 디지털 영상에 포함된 각 픽셀 영역에서의 픽셀 값과 소정 보간 방식에 의하여 추출된 보간 데이터의 평균 값이 동일하도록 보간을 수행함으로써 연산량 및 흐림 현상이 많지 않은 상태로 해당 디지털 영상을 확대할 수 있는 장점이 있다.

Claims

소정 영상에 포함된 픽셀 값에 대한 순차적인 적분을 수행하는 누적 가산부;

소정 보간 방식을 이용하여 상기 적분된 결과의 인접 픽셀 값 사이에 대한 보간을 수행하는 보간부; 및

상기 보간된 결과의 소정 위치에서 미분을 수행하는 누적 감산부를 포함하는 영상 처리 장치.
제 1항에 있어서,

상기 보간부는 특정 픽셀이 존재하는 영역에서의 픽셀 값과 상기 보간에 따른 상기 영역에서의 누적 값이 동일하게 되도록 상기 보간을 수행하는 영상 처리 장치.
제 2항에 있어서,

상기 누적 가산부는 상기 누적 값을 추출하는 영상 처리 장치.
제 1항에 있어서,

상기 보간부는 1차 보간 방식(Linear Interpolation), 2차 보간 방식(Quadratic Interpolation), 3차 보간 방식(Cubic Interpolation), 가우시안 보간 방식(Gaussian Interpolation), 신경 회로망 보간 방식(Neural Network Interpolation) 또는 SVM 보간 방식(Support Vector Machine Interpolation)을 이용하여 상기 보간을 수행하는 영상 처리 장치.
제 1항에 있어서,

상기 누적 감산부는 상기 미분된 결과의 픽셀 값 중 임계 범위를 초과하는 픽셀 값을 임계 범위 이내로 결정하는 영상 처리 장치.
소정 영상에 포함된 픽셀 값에 대한 순차적인 적분을 수행하는 단계;

소정 보간 방식을 이용하여 상기 적분된 결과의 인접 픽셀 값 사이에 대한 보간을 수행하는 단계; 및

상기 보간된 결과의 소정 위치에서 미분을 수행하는 단계를 포함하는 영상 처리 방법.
제 6항에 있어서,

상기 보간을 수행하는 단계는 특정 픽셀이 존재하는 영역에서의 픽셀 값과 상기 보간에 따른 상기 영역에서의 누적 값이 동일하게 되도록 상기 보간을 수행하는 단계를 포함하는 영상 처리 방법.
제 7항에 있어서,

상기 누적 값을 추출하는 단계를 더 포함하는 영상 처리 방법.
제 6항에 있어서,

상기 보간을 수행하는 단계는 1차 보간 방식(Linear Interpolation), 2차 보간 방식(Quadratic Interpolation), 3차 보간 방식(Cubic Interpolation), 가우시안 보간 방식(Gaussian Interpolation), 신경 회로망 보간 방식(Neural Network Interpolation) 또는 SVM 보간 방식(Support Vector Machine Interpolation)을 이용하여 상기 보간을 수행하는 단계를 포함하는 영상 처리 방법.
제 6항에 있어서,

상기 미분을 수행하는 단계는 상기 미분된 결과의 픽셀 값 중 임계 범위를 초과하는 픽셀 값을 임계 범위 이내로 결정하는 단계를 포함하는 영상 처리 방법.