KR101288378B1

KR101288378B1 - 영상 변환 장치

Info

Publication number: KR101288378B1
Application number: KR1020110142229A
Authority: KR
Inventors: 백원인; 송영기; 서용덕; 전성길; 박주현; 이희공; 표영일
Original assignee: 주식회사 이미지넥스트
Priority date: 2011-12-26
Filing date: 2011-12-26
Publication date: 2013-07-22
Also published as: WO2013100327A1; KR20130074252A

Abstract

본 발명은 영상 변환 장치에 관한 것이다. 본 발명에 따른 영상 변환 장치는 영상 변환을 미리 설정된 방향을 따라 블록 단위로 처리함으로써 영상 변환을 위한 시간을 감소시키고, 저 클럭에서도 고속 동작이 가능하므로, 소비전력의 감소, 발열 감소의 특성을 획득함은 물론, 영상 변환 처리 시, 기기의 안정성을 향상시킬 수 있다.

Description

영상 변환 장치{Apparatus for Converting Image}

본 발명은 영상 변환 장치에 관한 것으로, 더욱 상세하게는 촬상장치에 의해 촬영된 영상에 대한 변환 처리를 블록 단위로 처리하여 빠르고 안정적으로 영상 변환을 수행할 수 있는 영상 변환 장치에 관한 것이다.

구면으로 형성되는 렌즈는 가공 과정에서 피사체와의 촛점 거리가 틀어지는 구면수차(composition), 피사체, 및 그 주변부의 형태가 왜곡되는 구면수차(distortion), 렌즈를 통과한 빛의 파장이 갖는 굴절율 차이에 의해 색상이 왜곡되는 색수차(chromatic aberration), 및 기타 다양한 렌즈 수차를 갖는다.

렌즈 수차는 렌즈, 또는 렌즈를 포함하는 카메라 모듈을 생산하는 측에서 룩업 테이블의 형태로 보정 값을 제공하며, 통상 보정 값을 참조하여 촬상된 영상에 대해 렌즈 수차를 보정 하고 있다.

이미지 보정을 위해서는 통상 이미지를 구성하는 각 픽셀에 대해 픽셀 단위로 보정을 하고 있다. 한국 공개특허 10-2005-0080644는 화상 형성장치에서의 이미지가 일정한 농도를 유지할 수 있도록 하기 위해, 이미지를 구성하는 픽셀 정보를 단위 픽셀마다 농도를 보정하는 방안을 제안한 바 있다. 한국 공개특허 10-2005-0080644에서 제안된 방안은 이미지를 구성하는 픽셀 단위로 보정을 하므로, 데이터량이 많은 영상신호에 대해 적용하는 경우, 이미지 보정에 많은 시간을 요하게 되며, 실시간 처리를 위해 동작 클럭을 향상시키는 경우, 발열, 및 소모 전력의 문제점을 유발할 수 있다. 이는 도 1과 도 2를 함께 참조하여 설명하도록 한다.

도 1은 일반적인 영상왜곡 보정장치의 개념도를 나타내고, 도 2는 도 1에 따른 영상왜곡 보정장치의 보정 방식에 대한 설명에 참조되는 도면이다.

도 1을 참조하면, 일반적인 영상왜곡 보정장치는 카메라(10), 또는 CCTV(20)와 같은 촬상장치에서 생성된 영상 프레임을 저장하는 영상 저장모듈(30), 영상 저장모듈(30)에 저장된 영상 프레임에 억세스하여 영상 프레임을 구성하는 각 픽셀에 대한 룩업테이블(LUT)을 참조하여 픽셀 단위로 영상왜곡을 보정하는 매핑 모듈(40)을 포함한다.

룩업 테이블은 화상 형성장치 제조사, 렌즈제조사, 멀티미디어 기기 제조사, 및 기타 영상기기를 제조하는 측에서 픽셀 단위로 보정 가능한 보정 값을 구비하는 것으로, 매핑 모듈(40)은 룩업 테이블(LUT)에서 하나의 픽셀에 대한 보정 값을 획득하고, 보정 값을 참조하여 픽셀 단위로 영상의 왜곡을 보정할 수 있다.

이때, 영상 왜곡의 보정은 매핑 모듈(40)이 룩업 테이블(LUT)을 참조하여 도 2에 도시된 바와 같이 영상 프레임(5)에 위치하는 픽셀(1)이 영상 프레임(6)에서 참조부호 "2"의 위치로 이동되도록 할 수 있다. 이러한 보정 방법은 실시간으로 영상왜곡을 보정해야 하는 카메라, 캠코더, 및 CCTV와 같은 영상기기에서는 영상 프레임의 데이터량이 증가하는 만큼 영상기기에 과도한 부하를 유발하는 문제가 있다. 매핑 모듈(40)은 영상 저장모듈(30)에서 픽셀을 하나씩 획득하여 보정하고, 보정된 픽셀 값으로 영상 저장모듈(30)에 저장된 픽셀 값을 갱신하므로, 매핑 모듈(40)과 영상 저장모듈(30)은 영상왜곡을 보정할 때, 끊임없이 데이터 전송을 수행하여야 한다. 이에 따라, 영상기기는 멀티 코어로 구성되거나, 동작 클럭을 크게 높여야 하며, 멀티 코어 구성, 또는 동작 클럭의 향상은 영상기기의 발열 증가, 전력소모 증가, 및 고클럭 동작에 따른 영상기기의 동작오류 등을 유발하고 있다.

한편 이러한 영상 왜곡 보정뿐만 아니라 차량 주변 영상 장치의 경우 카메라 촬영 영상을 실제 카메라 시점에서 사용자의 선택 또는 차량 주행 상황에 맞추어 가상 카메라 시점에서 바라본 영상으로 변환하는 동작 등이 이루어질 수 있으며 이 경우에도 픽셀 단위로 영상 변환 동작을 수행할 경우 위에서 설명한 것과 같은 문제가 발생할 수 있다.

따라서, 본 발명의 목적은 영상 변환을 미리 설정된 방향을 따라 블록 단위로 처리함으로써 영상 변환을 위한 시간의 감소, 발열 감소, 및 안정성 증가를 추구하는 영상 변환 장치를 제공함에 있다.

상기 목적을 달성하기 위한 본 발명에 따른 영상 변환 장치는, 촬상장치에서 획득한 영상 프레임을 저장하는 영상 저장모듈, 상기 영상 프레임을 복수의 블록으로 구획하고, 구획된 각 블록이 변환대상 블록일 때와 변환된 블록일 때의 어드레스가 설정된 VCT 프레임을 저장하는 메모리 모듈, 상기 변환대상 블록을 블록단위로 캐싱하는 캐시 모듈, 및 상기 VCT 프레임을 참조하여 상기 캐시 모듈을 통해 상기 변환대상 블록을 인출하여, 상기 변환대상 블록의 픽셀을 변환한 후, 상기 VCT 프레임을 참조하여 변환된 블록을 상기 영상 저장모듈의 저장 영역에 블록 단위로 저장하는 매핑 모듈을 포함한다. 이때, 상기 매핑 모듈은, 상기 변환대상 블록을 구성하는 픽셀에 대한 변환 정보가 저장된 룩업테이블을 참조하여 상기 변환대상 블록의 픽셀을 변환할 수 있다.

본 발명에 따른 영상 변환 장치는, 영상 변환을 미리 설정된 방향을 따라 블록 단위로 처리함으로써 영상 변환을 위한 시간을 감소시키고, 저 클럭에서도 고속 동작이 가능하므로, 소비전력의 감소, 발열 감소의 특성을 획득함은 물론, 영상 변환 시, 기기의 안정성을 향상시킬 수 있다.

도 1은 일반적인 영상왜곡 보정장치의 개념도,
도 2는 도 1에 따른 영상왜곡 보정장치의 보정 방식에 대한 설명에 참조되는 도면,
도 3은 본 발명의 일 실시예에 따른 영상 변환 장치의 블록개념도,
도 4 내지 도 8은 본 발명의 일 실시예에 따른 영상 변환 장치의 변환방법에 대한 설명에 참조되는 도면, 그리고
도 9는 VCT 프레임의 일 예를 나타낸 도면이다.
도 10은 본 발명의 일 실시예에 따른 VCT 프레임 생성 방법을 설명하기 위해 제공되는 도면이다.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.

본 발명에서 언급되는 영상 변환은 영상 프레임을 구성하는 픽셀의 위치, 색상, 및 명암에 대한 것일 수 있으며, 각 픽셀에 대한 채도, 및 휘도일 수도 있으나 한정하지는 않는다. 또한, 본 발명에 따른 영상 변환 장치는 카메라, 캠코더, 프린터, 복합기와 같은 화상형성장치, CCTV 및 기타 영상의 촬상, 저장, 및 편집이 가능한 다양한 영상기기에 적용될 수 있다.

도 3은 본 발명의 일 실시예에 따른 영상 변환 장치의 블록 개념도를 도시한 것이다.

도 3을 참조하면, 본 영상 변환 장치는 매핑 모듈(110), 메모리 모듈(120), 영상 저장모듈(130), 캐시 모듈(140) 및 VCT 프레임 생성 모듈(150)을 포함할 수 있다. 이와 같은 구성요소들은 실제 응용에서 구현될 때 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다.

영상 저장모듈(130)은 카메라(101), CCTV(102)와 같은 촬상장치에서 생성되는 영상 프레임을 획득하여 저장한다. 영상 저장모듈(130)은 고속의 DRAM, DDR-DRAM으로 구성되거나, 하드디스크 드라이브, 플래시 메모리, 및 기타 다양한 저장매체로 구성될 수 있다.

메모리 모듈(120)은 VCT 프레임과 룩업 테이블(LUT)을 저장할 수 있다. VCT 프레임은 영상 저장모듈(130)에 저장되는 영상 프레임을 복수의 블록으로 구획하고, 각 구획된 블록을 변환대상 블록과 변환 블록으로 구분하며, 변환대상 블록의 시작 어드레스, 및 변환블록이 저장될 어드레스에 대한 정보를 구비할 수 있다. 매핑 모듈(110)은 VCT 프레임을 참조하여 영상 프레임에서 첫 변환대상 블록의 어드레스를 획득하며, 첫 변환대상 블록의 어드레스를 제공받을 수 있다. 이때, VCT 프레임은 VCT 프레임에 대한 식별 태그, 변환대상 블록의 X 방향 어드레스, 변환대상 블록의 Y 방향 어드레스, 및 변환 블록의 어드레스에 대한 정보를 구비하며, 이에 더하여 블록의 개수를 설정하는 정보를 더 포함할 수 있다. 변환 블록은 변환대상 블록에 대해 변환 처리된 블록을 나타내며, 변환 블록은 하나의 VCT 프레임에 복수 개가 존재할 수 있다. 한편 VCT 프레임은 뒤에서 설명할 VCT 프레임 생성 모듈(150)에서 생성될 수 있다. VCT 프레임 생성 동작에 대해서는 뒤에서 자세히 설명한다.

룩업 테이블(LUT)은 영상 프레임을 구성하는 각 픽셀의 좌표별 위치, 색상, 명암, 콘트라스트, 채도, 및 휘도에 대한 변환 값을 포함할 수 있다. 룩업 테이블(LUT)은 카메라, 캠코더, 비디오 레코더, 프린터와 같은 화상 형성장치, 및 기타 영상을 저장, 및 편집하는 다양한 영상기기 제조자 측에서 제공할 수 있다.

매핑 모듈(110)은 VCT 프레임을 참조하여 영상 변환이 시작되는 어드레스를 획득하고, 획득한 어드레스에 따라 영상 저장모듈(130)에 액세스한다. 영상 저장모듈(130)은 캐시 모듈(140)을 통해 영상 저장모듈(130)에서 블록 단위로 영상 프레임을 구성하는 픽셀의 픽셀 데이터를 획득할 수 있다. 매핑 모듈(110)은 캐시 모듈(140)을 통해 블록 단위로 전송되는 픽셀 데이터를 획득 후, 픽셀의 위치변환 정보를 구비하는 룩업테이블을 참조하여 각 픽셀의 픽셀 값을 변환하며, 변환된 픽셀 값은 블록 단위로 영상 저장모듈(130)로 제공될 수 있다.

즉, 일반적인 매핑 모듈이 하나의 픽셀을 영상 저장모듈(130)에서 획득하여 픽셀 값을 변환 후, 영상 저장모듈(130)에 저장되는 영상 프레임을 갱신하는데 비해, 본 실시예에 따른 매핑 모듈(110)은 블록에 포함되는 픽셀들의 픽셀 값을 모두 변환 후, 변환된 블록으로 영상 저장모듈(130)에 저장된 블록을 갱신할 수 있다. 예컨대, 변환대상 블록이 100개의 픽셀을 단위로 한다고 가정할 때, 일반적인 매핑 모듈은 100개의 픽셀을 개별적으로 변환 후, 영상 저장모듈(130)에 100번 액세스하여 픽셀 값을 100번 갱신하는데 비해, 본 실시예에 따른 매핑 모듈(110)은 100개의 픽셀을 단위로 하는 블록의 픽셀 값을 모두 변환 후, 단 한 번 영상 저장모듈(130)에 액세스하여 영상 저장모듈(130)에 저장된 픽셀 값들을 갱신할 수 있다.

이에 따라, 영상 변환 장치의 버스(BUS)가 픽셀 값 갱신을 위해 자주 호출되지 않을 수 있으며, 영상 프레임의 데이터량이 증가하더라도 데이터량이 증가하는데 비례하여 처리속도가 높은 프로세서를 요구하지 않을 수 있다. 즉, 저 발열, 저 클럭의 환경에서도 영상 변환이 용이하며, 이는 영상변환을 처리 시, 영상 변환 장치의 안정성을 향상시킬 수 있다.

매핑 모듈(110)은 영상 프레임을 복수의 블록으로 구획하고 각 블록을 VCT프레임에서 설정한 어드레스에 따라 호출하며, 호출된 각 블록을 구성하는 픽셀 값이 캐시 모듈(140)을 통해 버스트(BURST) 모드로 전송되도록 할 수 있다.

매핑 모듈(110)은 VCT 프레임에 설정된 어드레스를 참조하여 변환 대상 블록을 선택할 수 있다. 매핑 모듈(110)은 VCT 프레임에 기재된 변환대상 블록의 X 방향 어드레스, 및 Y 방향 어드레스를 시작 어드레스로 하는 소정 크기의 블록을 변환 대상 블록으로 선택할 수 있다. VCT 프레임에 기술된 어드레스는 매핑 모듈(110)이 변환하는 최초의 변환 대상 블록을 기준으로 시계방향, 반 시계방향, 상하방향, 좌우방향이나 기타 임의의 방향 등으로 다음 번 변환대상 블록의 어드레스가 정의될 수 있다. 이 경우, 매핑 모듈(110)은 VCT 프레임에서 정의되는 순서에 따라 변환대상 블록을 선택하여 영상을 변환할 수 있다.

매핑 모듈(110)은 변환 대상 블록 단위로 영상을 변환할 수도 있으나, 변환 대상 블록을 다시 소정 개의 서브 블록으로 분할한 후, 서브 블록 단위로 영상을 변환할 수도 있다.

매핑 모듈(110)이 VCT 프레임을 참조하여 변환대상 블록을 영상 저장모듈(130)에서 순차로 획득하여 영상 변환을 수행하므로 영상 변환 장치의 기기 복잡도를 저감할 수 있다. 또한, 블록 단위로 영상을 변환하여 변환된 블록을 생성 후, 영상 저장모듈(130)에 일괄 전송할 수 있으므로, 픽셀 단위로 일일이 영상 을 변환하는 일반적인 방식에 비해 빠르고 안정적으로 영상을 변환할 수 있다.

한편, 매핑 모듈(110)은 첫 번째 변환대상 블록에 대한 영상 변환 후, 두 번째 호출되는 이웃 변환대상 블록의 영역이 첫 번째 변환대상 블록으로 지정된 영역의 일 영역과 겹쳐지도록 구성할 수 있다. 마찬가지로, 두 번째 변환대상 블록과 세 번째 변환대상 블록도 일 영역이 겹쳐지도록 형성하며, 세 번째 블록과 네 번째 변환대상 블록 또한 마찬가지의 방식으로 일 영역이 겹쳐지도록 형성할 수 있다. 즉, 매핑 모듈(110)에서 변환하는 변환대상 블록은 상호 일 영역이 겹쳐지도록 설정될 수 있는 것이다.

매핑 모듈(110)의 변환대상 블록에 대한 영상 변환을 수행 시, 변환된 픽셀 값의 위치가 이웃 변환대상 블록으로 이동될 수 있다. 이 경우, 변환대상 블록에서 변환된 픽셀 값은 변환대상 블록에 위치하지 않고 이웃한 타 블록에 위치하므로, 변환대상 블록에는 존재하지 않는다. 따라서, 각 변환대상 블록은 이웃하는 블록과 일 영역이 겹쳐지도록 형성하는 것이 바람직하다.

이때, 룩업테이블(LUT)에 등록된 변환 값이 픽셀의 위치 이외에, 색상, 명암, 콘트라스트, 및 채도와 같은 정보를 포함할 경우, 색상, 명암, 채도, 및 콘트라스트와 같은 변환 값 또한, 기준 블록의 이웃 블록에 대해 적용될 수 있음은 물론이다.

매핑 모듈(110)은 변환대상 블록에 대한 영상 변환이 완료되면, 캐시 모듈(140)을 통해 영상 저장모듈(130)에 저장된 영상 프레임을 갱신하거나, 또는 영상 저장모듈(130)에 액세스하여 영상 프레임을 갱신할 수 있다.

캐시 모듈(130)은 SRAM과 같은 고속 저장매체일 수 있으며, 매핑 모듈(110)이 영상 저장모듈(130)에서 호출하는 블록의 순서에 맞추어 영상 저장모듈(130)에서 미리 호출 순서에 맞는 변환대상 블록을 캐싱하고, 캐싱된 변환대상 블록을 매핑 모듈(110)로 제공할 수 있다. 이 경우, 캐시 모듈(140)은 매핑 모듈(110)을 통해 매핑 모듈(110)이 호출할 어드레스에 대한 정보를 미리 획득하여야 한다.

즉, 매핑 모듈(110)이 변환대상 블록을 구성하는 복수의 픽셀 값에 대해 영상 변환을 수행한다. 이때, 매핑 모듈(110)이 다음 번 변환대상 블록의 어드레스를 캐시 모듈(140)로 제공하며, 캐시 모듈(140)은 매핑 모듈(110)이 변환대상 블록을 구성하는 픽셀 값들에 대한 영상 변환을 완료하기 전, 다음번 변환대상 블록의 픽셀 값을 캐싱해둘 수 있다.

캐시 모듈(140)은 매핑 모듈(110)을 통해 획득한 어드레스를 참조하여 다음 번 변환대상 블록을 선택하고, 선택한 블록의 픽셀 값들을 매핑 모듈(110)로 버스트 모드로 전송함으로써 매핑 모듈(110)에서 픽셀 값 변환을 위한 대기시간을 최소화한다. 이에 따라, 본 실시예에 따른 영상왜곡 변환장치는 픽셀 단위의 처리를 블록 단위로 전환할 수 있고, 이를 통해 영상 변환 장치의 동작 클럭을 올리지 않아도 되므로 저 발열, 및 높은 동작 안정도를 구현할 수 있다.

도 4 내지 도 8은 본 실시예에 따른 영상 변환 장치의 변환방법에 대한 설명에 참조되는 도면이다.

도 4는 광각 렌즈에 의해 촬상된 영상이 타원형으로 왜곡되어 있을 때의 영상 프레임의 이미지를 나타낸다. 광각 렌즈에 의해 촬상된 영상 프레임(50)은 광각 렌즈의 특성상, 피사체가 완전한 구의 형태를 가지더라도, 도 4에서 좌우 방향으로 퍼져 보이는 특성이 있다. 2번 블록의 "2-1" 영역을 구비하는 구 형태의 이미지(51)는 매핑 모듈(110)에 의한 영상 변환에 의해 2-2의 형태로 구 형태의 이미지(61)로 변환될 수 있다. 이때, 타원 형태의 이미지(51)가 구 형태의 이미지(61)로 변환되면서 이미지(61)의 2번 블록에서 "2-2" 영역의 외주면 좌표는 이미지(51)의 2번 블록의 "2-1" 영역의 외주면 좌표와 상이한 좌표를 갖게 된다. 이에 대해서는 다음의 도 5 및 도 6을 참조하여 설명하도록 한다.

도 5 및 도 6에는, 영상 왜곡을 고려한 화면에서, 제1 변환대상 블록(200)과 제2 변환대상 블록(300)을 도시하고 있다. 제1 및 제2 변환대상 블록(200, 300)이 각각 25개의 서브 블록으로 분할되어 변환이 수행된다고 가정하고, 제1 변환대상 블록의 제1 서브 블록을 도면 부호 201로 나타낼 수 있다.

이와 같은 경우, 제1 변환대상 블록(200)에서 서브 블록에 포함되지 않는 경계 영역에 존재하는 픽셀들(250)에 대해서는 제1 변환대상 블록(200)의 변환시 처리할 수 없다. 따라서, 영상 프레임의 전체 영역은 이웃하는 변환대상 블록끼리 경계 영역이 겹쳐지도록 형성하는 것이 필요하다.

예컨대, 제2 변환대상 블록(300)의 제1 서브 블록(301)의 경우, 제1 변환대상 블록(200)과 제2 변환대상 블록(300)의 겹쳐지는 영역의 픽셀들을 변환할 수 있다.

도 7은 영상 프레임의 중심에 위치하는 1번 블록(변환대상 블록)을 기준으로 하여 시계방향으로 다음 번 변환대상 블록이 결정되는 일 예를 나타낸 것이다. 도 7을 참조하면, 영상 프레임의 전체 영역은 이웃하는 블록(변환대상 블록)끼리 경계 영역이 겹쳐지도록 형성함을 볼 수 있다.

1번 블록의 경우, 2번 블록 내지 9번 블록과 일부 영역이 겹쳐지도록 형성하므로, 1번 영역에 대한 영상왜곡 보정을 위한 변환 시, 1번 블록에서 타 블록으로 픽셀 값이 변동하더라도 변동된 픽셀 값이 반영되어야 할 블록이 어느 블록인가를 파악할 수 있다.

도 8은 매핑 모듈에서 변환대상 블록을 선택하는 순서를 나타낸 것이다.

도 8을 참조하면, 변환대상 블록은 영상 프레임의 중심에 위치하는 1번 블록을 기준 블록으로 하여 2번 블록, 3번 블록, 4번 블록, ... 7번 블록의 순서에 따라 설정될 수 있다. 영상 프레임을 몇 개의 블록으로 구획하든, 도시된 바와 같이 시계방향으로 변환대상 블록의 처리 순서를 결정하는 경우, 매핑 모듈(110)은 다음 번 영상 변환을 수행할 블록에 대해 별도의 어드레스를 획득하지 않을 수 있다.

영상 프레임의 크기를 알고, 블록의 크기가 결정되며, 변환대상 블록이 선택되는 순서가 결정될 때, 매핑 모듈(110)은 현재 변환하는 변환대상 블록에 이어 다음 번에 변환될 대상(변환대상 블록)의 어드레스를 간단히 파악할 수 있다. 매핑 모듈(110)은 다음 번 변환대상 블록의 어드레스를 캐시 모듈(140)로 제공하여 현재 변환중인 변환대상 블록에 대한 영상왜곡 처리가 종료될 때, 즉각 다음 번 변환대상 블록에 대해 영상왜곡 처리를 시작할 수 있다.

도 9는 VCT 프레임의 일 예를 나타낸 것이다. 도 7에서 i-블록은 전술한 변환대상 블록에 대응하며, o-블록은 변환된 영상이 저장되는 저장 공간을 m 개의 서브 블록으로 분할한 경우, 그 중 하나의 서브 블록에 해당한다. 즉, 0 ~ m 까지의 o-블록이 전술한 변환된 블록에 대응한다.

도 9를 참조하면, VCT 프레임은 0 ∼ 15비트 까지가 VCT 프레임에 대한 식별 태그를 나타내고, 16에서 31비트 까지가 변환대상 블록의 X 방향 어드레스를 나타내고, 32부터 47비트 까지가 변환대상 블록의 Y 방향 어드레스를 나타내며, 48비트부터 63 비트까지가 변환된 블록의 개수를 나타내며, 64 비트부터 16 비트 단위의 o-블록번호는 변환된 영상이 저장되는 저장공간에서 각 o-블록의 저장되는 위치를 나타낸다.

VCT 프레임에서 16 ~ 31 비트에 저장되는 X 방향의 어드레스, 및 32~47 비트에 저장되는 Y방향의 어드레스는 영상 저장모듈(130)에서 캐시 모듈(140)로 가져오는 변환 대상 블록의 블록 단위의 시작 어드레스가 된다. 이와 같은 X 방향의 어드레스 및 Y 방향의 어드레스는 매 VCT 프레임마다 존재하며, 이를 참조하여 캐시 모듈(140)이 영상 저장모듈(130)로부터 가져오는 블록을 알 수 있다.

VCT 프레임에서 64 비트부터 16 비트 단위마다, 변환된 영상이 저장되는 저장 공간에서 0 ~ m 까지의 o-블록의 위치를 나타내는 주소가 저장된다.

기본적으로 하나의 변환 대상 블록(i-블록)에 하나의 VCT 프레임이 존재하지만, 하나의 변환 대상 블록에 대하여 복수의 VCT 프레임이 존재하도록 구성할 수도 있다. 예컨대, 7 * 7 = 49 개의 서브 블록(o-블록)을 포함하는 변환대상 블록(i-블록)에 대하여, 최대 5개의 서브 블록(o-블록)을 포함하는 10개의 VCT 프레임을 구성할 수 있다. 이 경우, 10 개의 VCT 프레임의 16 ~ 31 비트에 저장되는 X 방향의 어드레스, 및 32~47 비트에 저장되는 Y방향의 어드레스는 모두 동일하게 된다. 하나의 VCT 프레임에 의해 지정될 수 있는 서브 블록(o-블록)의 최대 개수를 위에서는 5개로 설명하고 있으나 이에 한정되는 것은 아니며 실시예에 따라 달라질 수 있다.

영상 저장모듈(130)에서 가져오는 변환대상 블록은, 최초로 가져온 블록을 기준으로 시계방향, 반 시계방향, 상하 방향, 좌우 방향, 대각선 방향 등으로 가져올 수도 있다. 또한, 이외에도, 임의의 방향이나 임의의 위치에 있는 블록을 가져올 수도 있다.

VCT 프레임 생성 모듈(150)은 룩업 테이블(LUT)를 참조하여 VCT 프레임을 생성할 수 있다. 도 10을 참조하여 VCT 프레임 생성 방법에 대해 자세히 설명한다.

도 10은 본 발명의 일 실시예에 따른 VCT 프레임 생성 방법을 설명하기 위해 제공되는 도면이다.

도 10을 참고하면, VCT 프레임 생성 모듈(150)은 입력 영상 공간의 중심에 위치한 변환대상 블록(I₁)을 첫 번째 레이어에서의 변환대상 블록으로 지정한다. 그리고, 첫 번째 변환대상 블록(I₁)의 경계에서 소정 개수의 픽셀(A₁, A₂, A₃, A₄, A₅, A₆, A₇, A₈)을 샘플링 한다. 여기서 변환대상 블록(I₁)은 도 7에서 참조부호 1로 나타낸 변환대상 블록에 해당한다.

다음으로 픽셀(A₁)을 예로 들면 룩업 테이블(LUT)에 대해 순방향으로 맵핑되는 픽셀(B₁)을 출력 영상 공간에서 구하고, 픽셀(B₁)이 포함되는 서브 블록(o-블록:O₁)을 확인한다. 그리고 다시 서브 블록(O₁)을 룩업 테이블(LUT)에 대해 역 방향으로 맵핑하여 입력 영상 공간에서의 서브 블록(O₁ ^-1)을 구한다. 위와 같은 동작을 샘플링된 픽셀(A₁, A₂, A₃, A₄, A₅, A₆, A₇, A₈) 모두에 대해서 수행한다. 다음으로 이렇게 구해진 입력 영상 공간에서의 서브 블록들이 모두 포함될 수 있도록 도 7에서 참조부호 2 ~ 9로 나타낸 변환대상 블록이 첫 번째 레이어의 변환대상 블록과 겹쳐지는 범위를 결정한다. 이와 같은 방법으로 도 7에서 참조부호 N, N+1, N+2, N+3, N+4로 나타낸 N번째 레이어에서의 변환대상 블록까지 이전 레이어에서의 변환대상 블록과 겹쳐지는 범위를 결정하면서 VCT 프레임을 생성할 수 있다.

한편 지금까지 영상 변환 동작 중에서 왜곡 보정 처리에 대해 설명하였으나, 이는 룩업 테이블(LUT)이 왜곡 보정을 위한 정보가 있는 경우를 하나의 예로 설명한 것이다. 룩업 테이블(LUT)에 입력 영상 프레임을 다른 가상 카메라 시점으로 변환하기 위한 정보가 있는 경우에는 입력 영상에 대한 시점 변환 처리를 수행하는 것으로 이해할 수 있다. 이와 같이 본 발명은 왜곡 보정뿐만 아니라 입력 영상을 룩업 테이블(LUT)을 통해 변환하여 출력 영상을 생성하는 다양한 영상 변환 장치에 적용할 수 있다.

이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.

110 : 매핑 모듈 120 : 메모리 모듈
130 : 영상 저장모듈 140 : 캐시 모듈

Claims

촬상장치에서 획득한 영상 프레임을 저장하는 영상 저장모듈;
상기 영상 프레임을 복수의 블록으로 구획하고, 구획된 각 블록이 변환대상 블록일 때와 변환된 블록일 때의 어드레스가 설정된 VCT 프레임을 저장하는 메모리 모듈;
상기 변환대상 블록을 블록 단위로 캐싱하는 캐시 모듈; 및
상기 VCT 프레임을 참조하여 상기 캐시 모듈을 통해 상기 변환대상 블록을 인출하여, 상기 변환대상 블록의 픽셀을 변환한 후, 상기 VCT 프레임을 참조하여 변환된 블록을 상기 영상 저장모듈의 저장 영역에 블록 단위로 저장하는 매핑 모듈을 포함하는 영상 변환 장치.
제1항에 있어서,
상기 매핑 모듈은, 상기 변환대상 블록을 구성하는 픽셀에 대한 변환 정보가 저장된 룩업테이블을 참조하여 상기 변환대상 블록의 픽셀을 변환하는 것을 특징으로 하는 영상 변환 장치.
제2항에 있어서,
상기 룩업테이블은, 상기 영상 프레임을 구획한 각 블록을 구성하는 픽셀의 위치, 색상, 명암 중 적어도 하나에 대한 변환 정보를 포함하는 것을 특징으로 하는 영상 변환 장치.
제1항에 있어서,
상기 매핑 모듈은, 상기 변환대상 블록을 소정 개의 서브 블록으로 분할하여, 상기 서브 블록 단위로 픽셀을 변환하는 것을 특징으로 하는 영상 변환 장치.
제4항에 있어서,
상기 VCT 프레임은, 상기 VCT 프레임에 대한 식별 태그, 상기 변환대상 블록의 제1방향 어드레스, 상기 변환대상 블록의 제2방향 어드레스, 상기 서브 블록의 개수, 및 상기 서브 블록의 어드레스에 대한 정보를 포함하는 것을 특징으로 하는 영상 변환 장치.
제5항에 있어서,
상기 VCT 프레임은, 상기 변환대상 블록 별로 설정되는 것을 특징으로 하는영상 변환 장치.
제6항에 있어서,
상기 VCT 프레임은, 동일한 변환대상 블록에 대하여, 서로 다른 소정 개의 서브 블록의 어드레스 정보가 포함되도록 복수로 설정되는 것을 특징으로 하는 영상 변환 장치.
제1항에 있어서,
상기 매핑 모듈은, 상기 변환대상 블록에 대한 위치를 변환 후, 변환된 픽셀이 이웃 블록에 위치하는 경우, 상기 변환된 픽셀에 대한 변환 값을 상기 이웃 블록의 변환 때, 적용하는 것을 특징으로 하는 영상 변환 장치.
제1항에 있어서,
상기 영상 저장모듈에 저장된 영상 프레임을 표시하는 디스플레이를 더 포함하는 영상 변환 장치.
제2항에 있어서,
상기 변환대상 블록이 서로 겹쳐지는 영역이 존재하게 상기 VCT 프레임을 생성하는 VCT 프레임 생성 모듈을 더 포함하며,
상기 VCT 프레임 생성 모듈은,
입력 영상 공간의 중심에서 첫 번째 레이어의 변환대상 블록의 경계 부분에서 소정 개수의 픽셀을 샘플링하고, 상기 샘플링된 픽셀이 상기 룩업 테이블에 대해 순방향으로 맵핑된 픽셀을 출력 영상 공간에서 구하며, 상기 출력 영상 공간에 맵핑된 픽셀이 포함되는 서브 블록을 구하고, 상기 구해진 서브 블록이 상기 룩업 테이블에 대해 역방향으로 맵핑된 서브 블록을 상기 입력 영상 공간에서 구하며, 상기 입력 영상 공간에서 구해진 서브 블록을 모두 포함하도록 두 번째 레이어의 변환대상 블록과 첫 번째 레이어의 변환대상 블록의 겹쳐지는 범위를 결정하는 것을 특징으로 하는 영상 변환 장치.
제10항에 있어서,
상기 VCT 프레임 생성 모듈은, 상기 입력 영상 공간의 중심에서부터 변환대상 블록을 지정하고 중심에서 멀어지는 방향으로 시계 방향 또는 반시계 방향으로 변환대상 블록을 지정하면서 VCT 프레임을 생성하는 것을 특징으로 하는 영상 변환 장치.