KR20140054797A

KR20140054797A - 단말 및 이를 이용한 스테레오 카메라 촬영 영상의 보정 방법

Info

Publication number: KR20140054797A
Application number: KR1020120120730A
Authority: KR
Inventors: 신선미; 김주현
Original assignee: 삼성전기주식회사
Priority date: 2012-10-29
Filing date: 2012-10-29
Publication date: 2014-05-09

Abstract

본 발명은 단말 및 이를 이용한 스테레오 카메라 촬영 영상의 보정 방법에 관한 것으로서, 제1 및 제2 카메라로 구성된 스테레오 카메라에서 피사체를 동시 촬영한 제1 및 제2 이미지를 입력받는 단계와, 상기 제1 및 제2 이미지를 스캔하여 픽셀 별로 휘도 정보를 인식하는 단계와, 상기 제1 및 제2 이미지의 픽셀 별 휘도 정보를 비교하여 정보가 동일한 영역과 차이가 나는 영역을 파악하는 단계 및 상기 제1 및 제2 이미지에서 픽셀 별 휘도 정보가 차이 나는 영역은 제1 및 제2 이미지를 참조하여 영상을 보정하는 단계를 포함할 수 있다.

Description

단말 및 이를 이용한 스테레오 카메라 촬영 영상의 보정 방법{ELECTRONIC DEVICE AND IMAGE MODIFICATION METHOD OF STEREO CAMERA IMAGE USING THEREOF}

본 발명은 단말 및 이를 이용한 스테레오 카메라 촬영 영상의 보정 방법에 관한 것이다.

스테레오 카메라를 이용하여 촬영한 영상에서 피사체의 모션 인식을 정확히 하기 위해서는 스테레오 카메라와 피사체의 각 포인트 간의 거리(Depth)를 추출해야 한다.

카메라를 이용한 모션 인식을 위해서 거리 추출용 뎁스(Depth) 카메라가 많이 개발되고 있다. 마이크로 소프트 키네틱이 대표적인 거리 추출용 뎁스 카메라인데, 이는 구조화된 IR 광원을 사용하여 거리를 추출한다. 이를 이용하면 정밀한 거리(Depth)의 추출은 가능하지만 사용 거리의 제한(약 4미터 이하)이 있고, 실내가 아닌 야외에서는 사용이 불가능하다.

이를 해결 할 수 있는 방법이 스테레오 카메라를 이용한 거리추출인데, 이 방법은 양 카메라에서 입력된 이미지에서 특정 픽셀의 양안 시차 원리를 이용한다.

그런데, 스테레오 카메라를 이용한 거리 추출 방법은 좌,우 영상을 비교하여 동일한 지점을 찾고, 그 지점의 좌,우 시차를 이용하여 카메라와 그 지점의 거리를 연산할 수 있다. 이러한 스테레오 카메라는 생산 과정에서 공차가 발생하게 되는데, 이는 좌,우 영상의 동일 지점을 찾는데 영향을 준다. 공차의 크기를 알 수 없으므로, 이를 고려하여 거리 정보를 추출하려면 고려해야 할 사항도 많고 연산도 복잡해진다. 그러므로 이러한 공차를 사전에 보정해줄 필요가 있다.

본 발명은 상기한 문제점을 해소하기 위한 것으로서, 제1 및 제2 카메라를 포함하는 스테레오 카메라를 이용하여 촬영된 영상에서 제1 및 제2 이미지의 공차 부분을 상대 이미지를 이용하여 보완할 수 있는 방법 및 이를 구현할 수 있는 단말을 제공하고자 한다.

본 발명의 일 실시예에 따른 스테레오 카메라 촬영 영상의 보정 방법은 제1 및 제2 카메라로 구성된 스테레오 카메라에서 피사체를 동시 촬영한 제1 및 제2 이미지를 입력받는 단계; 상기 제1 및 제2 이미지를 스캔하여 픽셀 별로 휘도 정보를 인식하는 단계; 상기 제1 및 제2 이미지의 픽셀 별 휘도 정보를 비교하여 정보가 동일한 영역과 차이가 나는 영역을 파악하는 단계; 및 상기 제1 및 제2 이미지에서 픽셀 별 휘도 정보가 차이 나는 영역은 제1 및 제2 이미지를 참조하여 영상을 보정하는 단계;를 포함할 수 있다.

본 발명의 일 실시예에 따른 스테레오 카메라 촬영 영상의 보정 방법에서 픽셀 별로 휘도 정보를 인식하는 단계 이전에, 제1 및 제2 이미지에서 소정 영역을 선택하는 단계;를 더 포함하고, 이후의 단계는 상기 제1 및 제2 이미지에서 선택된 소정 영역에 대해 시행할 수 있다.

본 발명의 일 실시예에 따른 스테레오 카메라 촬영 영상의 보정 방법에서 상기 픽셀 별 휘도 정보가 동일한 영역은, 상기 제1 및 제2 이미지에서 인접하는 픽셀 간에 지속적으로 동일한 휘도 정도를 갖는 픽셀의 수가 사용자가 설정한 임계값을 넘는 영역일 수 있다.

본 발명의 일 실시예에 따른 스테레오 카메라 촬영 영상의 보정 방법에서 상기 영상을 보정하는 단계는, 상기 제1 및 제2 이미지에 촬상된 피사체에서 손실된 부분에 대해 상기 제1 이미지의 손실 부분은 상기 제2 이미지를 참조하고, 상기 제2 이미지의 손실 부분은 상기 제1 이미지를 참조하여 복원할 수 있다.

본 발명의 일 실시예에 따른 스테레오 카메라 촬영 영상의 보정 방법에서 상기 소정 영역은 제1 및 제2 이미지에 촬상된 보정하고자 하는 피사체를 포함할 수 있다.

본 발명의 일 실시예에 따른 스테레오 카메라 촬영 영상의 보정 방법에서 상기 제1 및 제2 이미지의 스캔은, 상기 제1 및 제2 이미지에서 소정 피사체가 수직 방향으로 동일한 베이스 라인에 위치하도록 한 후 수평 방향으로 진행할 수 있다.

본 발명의 일 실시예에 따른 스테레오 카메라 촬영 영상의 보정 방법에서 상기 제1 및 제2 이미지의 스캔은, 수평 방향으로 동일한 방향으로 진행할 수 있다.

본 발명의 일 실시예에 따른 단말은 스테레오 카메라에서 동시 촬영된 제1 및 제2 이미지를 입력받는 사용자 입력부; 입력된 상기 제1 및 제2 이미지를 저장하는 메모리; 상기 제1 및 제2 이미지를 스캔하여 픽셀 별로 휘도 정보를 인식하고, 상기 픽셀 별 휘도 정보를 비교하여 정보가 동일한 영역과 차이가 나는 영역을 파악하며, 상기 제1 및 제2 이미지에서 픽셀 별 휘도 정보가 차이 나는 영역은 제1 및 제2 이미지를 참조하여 영상을 보정하는 제어부;를 포함할 수 있다.

본 발명의 일 실시예에 따른 단말에서 상기 제어부는, 제1 및 제2 이미지에서 소정 영역을 선택하고, 상기 제1 및 제2 이미지에서 선택된 소정 영역에 대해 스캔을 시행할 수 있다.

본 발명의 일 실시예에 따른 단말에서 상기 제어부는, 상기 제1 및 제2 이미지에서 인접하는 픽셀 간에 지속적으로 동일한 휘도 정도를 갖는 픽셀의 수가 사용자가 설정한 임계값을 넘는 영역을 픽셀 별 휘도 정보가 동일한 영역으로 인식할 수 있다.

본 발명의 일 실시예에 따른 단말에서 상기 제어부는, 상기 제1 및 제2 이미지에 촬상된 피사체에서 손실된 부분에 대해 상기 제1 이미지의 손실 부분은 상기 제2 이미지를 참조하고, 상기 제2 이미지의 손실 부분은 상기 제1 이미지를 참조하여 복원할 수 있다.

본 발명의 일 실시예에 따른 단말에서 상기 소정 영역은 제1 및 제2 이미지에 촬상된 보정하고자 하는 피사체를 포함할 수 있다.

본 발명을 이용하면 스테레오 카메라 촬영 영상의 거리 추출함에 있어서 미리 촬상된 이미지의 공차를 보완해 줄 수 있으므로 거리 추출이 용이할 수 있다.

도 1은 본 발명의 일 실시예에 따른 단말을 나타내는 블록도이고,
도 2는 본 발명의 일 실시예에 따른 단말을 이용하여 스테레오 카메라 촬영 영상을 보정하는 방법을 나타낸 순서도이며,
도 3 내지 도 6은 본 발명의 일 실시예에서 이미지를 보정하는 방법을 설명하기 위한 참고도이다.

본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 기술적 용어는 본 명세서에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 명세서에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.

또한, 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "구성된다", "구비한다" 또는 "포함한다" 등의 용어는 명세서 상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.

또한, 본 명세서에서 사용되는 구성요소에 대한 접미사 "모듈", "유닛" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.

또한, 본 명세서에서 사용되는 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.

본 명세서에서 설명되는 단말(전자기기)에는 컴퓨터(데스크 탑, 노트북 컴퓨터(laptop computer)를 모두 포함), 휴대폰, 스마트 폰(smart phone), PDA(personal digital assistants), PMP(portable multimedia player) 등이 포함될 수 있다. 나아가, 상기 단말(전자기기)는 본 발명의 일 실시예에서 설명하는 스테레오 카메라와 연결되고 제어부를 구비하는 전자기기는 모두 포함할 수 있다.

나아가, 본 명세서에 기재된 실시예에 따른 구성은 휴대 전자기기와 같은 휴대 단말뿐만 아니라, 데스크탑 컴퓨터 등과 같은 고정 단말기에도 적용될 수도 있음을 본 기술분야의 당업자라면 쉽게 알 수 있을 것이다.

도 1은 본 발명의 일 실시예에 따른 단말을 나타내는 블록도이다.

도 1을 참고하면, 본 발명의 일 실시예에 따른 단말(100)은 제어부(110), 사용자 입력부(120), 통신부(130), 메모리(140), 출력부(150), 전원공급부(160)를 포함할 수 있다. 도 1에 도시된 구성요소들이 필수적인 것은 아니어서, 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 갖는 단말이 구현될 수도 있다.

제어부(controller, 110)는 통상적으로 단말(전자기기)의 전반적인 동작을 제어한다. 예를 들어 입력된 이미지에서 관심 영역을 선택하거나 픽셀의 휘도를 비교하는 등을 위한 관련된 제어 및 처리를 수행한다. 상세히 설명하면, 이하 설명할 스테레오 카메라 촬영 영상의 보정에서 시행될 수 있는 동작 명령과 관련된 제어 및 처리를 수행할 수 있다.

또한, 사용자의 입력에 대응하여 동작 명령을 생성할 수 있다. 제어부(110)는 멀티미디어 재생을 위한 멀티미디어 모듈(미도시)을 구비할 수도 있다. 멀티미디어 모듈은 제어부(110) 내에 구현될 수도 있고, 제어부(110)와 별도로 구현될 수도 있다. 또한, 상기 제어부(110)는 메모리의 저장 내역이 변경되는 경우, 각 구성요소에 이러한 내용을 모두 적용할 수 있다.

사용자 입력부(120)는 사용자가 단말기의 동작 제어를 위한 입력 데이터를 발생시킨다. 사용자 입력부(120)는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(정압/정전), 조그 휠, 조그 스위치 등으로 구성될 수 있다. 또, 사용자 입력부(120)는 스테레오 카메라에서 촬영된 제1 및 제2 이미지를 입력받을 수 있다.

또한, 상기 사용자 입력부(120)는 스테레오 카메라 입력부(121) 및 외장 메모리 입력부(122) 중 적어도 어느 하나를 포함할 수 있다. 상기 사용자 입력부(120)는 상기 스테레오 카메라 입력부(121)를 통해 상기 스테레오 카메라에서 촬영된 영상을 직접 입력받을 수 있다.

또는 상기 외장 메모리 입력부(122)를 통해 상기 스테레오 카메라에서 촬영된 영상을 외장 메모리 등을 매개로 입력받을 수 있다.

통신부(130)는 단말(100)과 통신 시스템 사이 또는 단말(100)과 단말(100)이 위치한 네트워크 사이의 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 상기 통신부(130)는 유선 또는 무선 방식일 수 있다. 예를 들어, 통신부(130)는 인터넷 모듈(131), 근거리 통신 모듈(132) 등을 포함할 수 있다.

상기 통신부(130)는 인터넷 모듈(131) 또는 근거리 통신 모듈(132)을 이용하여 스테레오 카메라와 유선 또는 무선 방식으로 통신을 수행할 수 있다. 이에, 상기 통신부(130)를 통해 스테레오 카메라에서 촬영된 제1 및 제2 이미지를 입력받아 제어부(110)를 통해 상기 사용자 입력부(120)에 입력될 수 있다.

또는, 상기 통신부(130)를 통해 상기 단말(100)에서 보정된 제1 및 제2 이미지를 다른 단말 등으로 전송할 수 있다.

인터넷 모듈(131)은 유선 또는 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 단말(100)에 내장되거나 외장될 수 있다. 인터넷 기술로는 LAN, WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등이 이용될 수 있다.

근거리 통신 모듈(132)은 근거리 통신을 위한 모듈을 말한다. 근거리 통신(short range communication) 기술로 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee 등이 이용될 수 있다.

메모리(140)는 제어부(110)의 동작을 위한 프로그램을 저장할 수 있고, 입/출력 및 산정(결과물)되는 데이터들(예를 들어, 정지영상, 동영상, 시차, 폰북, 메시지 등)을 임시 또는 영구 저장할 수도 있다. 상기 메모리(140)는 사용자로부터 입력되거나 선택받은 이미지 컨텐츠를 저장할 수 있다. 메모리(140)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(random access memory; RAM), SRAM(static random access memory), 롬(read-only memory; ROM), EEPROM(electrically erasable programmable read-only memory), PROM(programmable read-only memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 단말(100)은 인터넷(internet)상에서 상기 메모리(140)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.

인터페이스부(150)는 단말(100)에 연결되는 모든 외부기기와의 통로 역할을 한다. 인터페이스부(150)는 외부 기기로부터 데이터를 전송받거나, 전원을 공급받아 단말(100) 내부의 각 구성요소에 전달하거나, 단말(100) 내부의 데이터가 외부 기기로 전송되도록 한다. 예를 들어, 유/무선 헤드셋 포트, 외부 충전기 포트, 유/무선 데이터 포트, 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트, 오디오 I/O(Input/Output) 포트, 비디오 I/O(Input/Output) 포트, 이어폰 포트 등이 인터페이스부(150)에 포함될 수 있다.

출력부(160)는 시각과 관련된 출력을 발생시키기 위한 것으로, 이에는 디스플레이부(161) 등이 포함될 수 있다.

디스플레이부(161)는 단말(100)에서 처리되는 정보를 표시(출력)한다. 예를 들어, 제어부에서 이미지에 대한 각 포인트별 거리의 산정이 완료된 경우 이를 디스플레이부에 표시할 수 있다.

도 2는 본 발명의 일 실시예에 따른 단말을 이용하여 스테레오 카메라 촬영 영상을 보정하는 방법을 나타낸 순서도이며, 도 3 내지 도 6은 본 발명의 일 실시예에서 이미지를 보정하는 방법을 설명하기 위한 참고도이다.

도 2의 (a)를 참조하면, 본 발명의 일 실시예에 따른 스테레오 카메라 촬영 영상의 보정 방법에 의하면, 상기 단말(100)은, 제1 및 제2 카메라로 구성된 스테레오 카메라에서 피사체를 동시 촬영한 제1 및 제2 이미지를 입력받을 수 있다(S11). 그리고, 상기 단말(100)은, 상기 입력된 제1 및 제2 이미지를 스캔하여 픽셀 별로 휘도 정보를 인식할 수 있다(S12). 그리고, 상기 단말(100)은, 상기 제1 및 제2 이미지의 픽셀 별 휘도 정보를 비교하여 정보가 동일한 영역과 차이가 나는 영역을 파악할 수 있다(S13). 그리고, 상기 단말(100)은, 상기 제1 및 제2 이미지에서 픽셀 별 휘도 정보가 차이 나는 영역은 제1 및 제2 이미지를 참조하여 영상을 보정할 수 있다(S14).

또한, 도 2의 (b)를 참조하면, 본 발명의 다른 실시예에 따른 스테레오 카메라 촬영 영상의 보정 방법에 의하면, 상기 단말(100)은, 제1 및 제2 카메라로 구성된 스테레오 카메라에서 피사체를 동시 촬영한 제1 및 제2 이미지를 입력받을 수 있다(S21). 그리고, 상기 단말(100)은, 상기 입력된 제1 및 제2 이미지에서 관심 영역(소정 영역 - 제1 및 제2 이미지에서 특정 영역)을 선택할 수 있다(S22). 그리고, 상기 단말(100)은, 상기 제1 및 제2 이미지의 관심 영역을 스캔하여 픽셀 별로 휘도 정보를 인식할 수 있다(S23). 그리고, 상기 단말(100)은, 상기 제1 및 제2 이미지의 관심 영역에서 픽셀 별 휘도 정보를 비교하여 정보가 동일한 영역과 차이가 나는 영역을 파악할 수 있다(S24). 그리고, 상기 단말(100)은, 상기 제1 및 제2 이미지의 관심 영역에서 픽셀 별 휘도 정보가 차이 나는 영역은 제1 및 제2 이미지를 참조하여 영상을 보정할 수 있다(S25).

아울러, 상기 단말(100)은, 상기 제1 및 제2 이미지에서 인접하는 픽셀 간에 지속적으로 동일한 휘도 정도를 갖는 픽셀의 수가 사용자가 설정한 임계값을 넘는 영역을 픽셀 별 휘도 정보가 동일한 영역으로 인식할 수 있다. 또한, 상기 단말(100)은, 상기 제1 및 제2 이미지에 촬상된 피사체에서 손실된 부분에 대해 상기 제1 이미지의 손실 부분은 상기 제2 이미지를 참조하고, 상기 제2 이미지의 손실 부분은 상기 제1 이미지를 참조하여 영상을 보정(복원)할 수 있다. 또한, 상기 단말(100)은, 제1 및 제2 이미지에 촬상되어 보정하고자 하는 피사체를 포함하는 영역을 관심 영역(소정 영역)으로 인식할 수 있다. 또한, 상기 단말(100)은, 상기 제1 및 제2 이미지에서 소정 피사체가 수직 방향으로 동일한 베이스 라인에 위치하도록 한 후 수평 방향으로 상기 제1 및 제2 이미지의 스캔을 진행할 수 있다. 또한, 상기 단말(100)은, 상기 제1 및 제2 이미지의 스캔이 수평 방향으로 동일한 방향으로 진행되도록 할 수 있다.

이하, 도 2의 (a) 및 도 3 내지 도 6을 참조하여 본 발명의 일 실시예에 따른 스테레오 카메라 촬영 영상의 보정 방법을 단계별로 설명한다.

도 3에 도시된 바와 같이, 본 발명의 일 실시예에 따른 스테레오 카메라 촬영 영상의 보정 방법은 제1 및 제2 카메라로 구성된 스테레오 카메라에서 피사체를 동시 촬영한 제1 및 제2 이미지(10)(20)를 입력받을 수 있다(S11). 여기서, 입력 받은 상기 제1 및 제2 이미지(10)(20)는 양안 시차(disparity)가 있는 제1 및 제2 카메라를 이용하여 각각 촬상된 것이다. 그러므로, 상기 제1 및 제2 이미지는 상호 동일한 부분이 대부분이긴 하지만 시차에 의해 가령, 테두리 부분이 촬상되지 않거나 일그러져서 상호 불일치하게 된다.

즉, 상기 스테레오 카메라에서 제1 및 제2 카메라는 동일한 기능 및 성능을 갖는 카메라일 수 있다. 그러므로, 상기 제1 및 제2 이미지(10)(20)는 동일 사이즈에 동일 화소를 갖으며, 다만, 촬영 방향만 차이가 있으므로 상기 제1 및 제2 이미지(10)(20)는 이미지의 각 포인트별로 시차(disparity)가 발생할 수 있다. 그러므로, 상기 불일치하는 부분에 대해서는 제1 및 제2 이미지를 상호 이용하여 보완하고자 한다.

도 3에서 제1 이미지(10)의 좌측 부분과 제2 이미지(20)의 우측 부분에서 피사체가 정확하게 촬상되지 않은 것을 확인할 수 있다.

다음으로, 상기 제1 및 제2 이미지를 스캔하여 픽셀 별로 휘도 정보를 인식할 수 있다(S12). 입력된 상기 제1 및 제2 이미지(10)(20)는 촬상된 부분 중 상호 일치하는 부분과 불일치하는 부분이 존재할 수 있다. 가령, 도 3 및 도 4에서 음영 처리된 부분은 상호 불일치하는 부분에 해당한다. 이에, 이를 파악하고자 본 발명에서는 이미지의 휘도 정보를 비교하고자 한다. 즉, 제1 이미지(10)와 제2 이미지(20)를 구성하는 픽셀의 휘도를 비교하여 이미지의 일치 여부를 판단하고자 한다.

다음으로, 상기 제1 및 제2 이미지의 픽셀 별 휘도 정보를 비교하여 정보가 동일한 영역과 차이가 나는 영역을 파악할 수 있으며(S13), 이를 바탕으로 상기 제1 및 제2 이미지에서 픽셀 별 휘도 정보가 차이 나는 영역은 제1 및 제2 이미지(10)(20)를 상호 참조하여 영상을 보정할 수 있다(S14). 다시 말해, 상기 제1 및 제2 이미지(10)(20)에 촬상된 피사체에서 손실된 부분에 대해 상기 제1 이미지(10)의 손실 부분은 상기 제2 이미지(20)를 참조하고, 상기 제2 이미지(20)의 손실 부분은 상기 제1 이미지(10)를 참조하여 복원할 수 있다.

즉, 도 5의 제1 이미지(10)의 우측 보정할 참조(13)는 도 6의 제2 이미지(20)의 우측 보정 부분(25)을 채우고, 도 5의 제2 이미지(20)의 좌측 보정할 참조(23)는 도 6의 제1 이미지(10)의 좌측 보정 부분(15)을 채워 제1 및 제2 이미지(10)(20)에서 피사체가 정확하게 촬상되지 않은 부분을 보충(보정)할 수 있다.

한편, 본 발명에서는 상기 제1 및 제2 이미지(10)(20)의 스캔은, 상기 제1 및 제2 이미지(10)(20)에서 소정 피사체가 수직 방향으로 동일한 베이스 라인(BL)에 위치하도록 한 후 수평 방향으로 진행할 수 있다. 즉, 제1 및 제2 이미지(10)(20)의 수직방향 높이를 일치시킨 후 스캔을 진행할 수 있다. 상기 제1 및 제2 이미지(10)(20)의 스캔은, 수평 방향으로 동일한 방향으로 진행할 수 있다.

다음으로, 도 2의 (b) 및 도 3 내지 도 6을 참조하여 본 발명의 다른 실시예에 따른 스테레오 카메라 촬영 영상의 보정 방법을 단계별로 설명한다.

도 2의 (b)를 참조하면, 본 발명의 다른 실시예에 따른 스테레오 카메라 촬영 영상의 보정 방법은 도 2의 (a)를 참조하여 상술한 것과 픽셀 별로 휘도 정보를 인식하는 단계 이전에 제1 및 제2 이미지에서 소정 영역을 선택하는 단계(S22)를 더 포함한다는 차이가 있고, 이후의 단계(S23 내지 S25)는 상기 제1 및 제2 이미지에서 선택된 소정 영역에 대해 시행된다는 차이가 있다.

즉, 도 3 내지 도 5에서 보듯이, 제1 및 제2 이미지(10)(20)에서 소정 영역(관심영역)(11)(21)을 선택하고, 선택된 소정 영역(11)(21)에 대해 도 2의 (a)를 참조하여 설명한 S12 내지 S14의 단계와 동일한 방식으로 스테레오 카메라 촬영 영상의 보정을 시행하는 것이다.

본 발명의 일 실시예는 제1 및 제2 이미지(10)(20) 전체 영상을 보정하는 것이고, 본 발명의 다른 실시예는 제1 및 제2 이미지(10)(20)에서 일부 선택된 소정 영역(관심영역)(11)(21)의 영상을 보정한다는 차이만 있을 뿐 영상을 보정하는 방법은 동일하다. 그러므로, 상세한 보정 방법의 설명은 도 2의 (a)를 참조하여 설명한 것을 참고할 수 있다.

10, 20: 제1 및 제2 이미지
11, 21: 관심 영역
100: 단말
110: 제어부
120: 사용자 입력부

Claims

제1 및 제2 카메라로 구성된 스테레오 카메라에서 피사체를 동시 촬영한 제1 및 제2 이미지를 입력받는 단계;
상기 제1 및 제2 이미지를 스캔하여 픽셀 별로 휘도 정보를 인식하는 단계;
상기 제1 및 제2 이미지의 픽셀 별 휘도 정보를 비교하여 정보가 동일한 영역과 차이가 나는 영역을 파악하는 단계; 및
상기 제1 및 제2 이미지에서 픽셀 별 휘도 정보가 차이 나는 영역은 제1 및 제2 이미지를 참조하여 영상을 보정하는 단계;를 포함하는 스테레오 카메라 촬영 영상의 보정 방법.
제1항에 있어서, 픽셀 별로 휘도 정보를 인식하는 단계 이전에,
제1 및 제2 이미지에서 소정 영역을 선택하는 단계;를 더 포함하고,
이후의 단계는 상기 제1 및 제2 이미지에서 선택된 소정 영역에 대해 시행하는 스테레오 카메라 촬영 영상의 보정 방법.
제1항 또는 제2항에 있어서, 상기 픽셀 별 휘도 정보가 동일한 영역은,
상기 제1 및 제2 이미지에서 인접하는 픽셀 간에 지속적으로 동일한 휘도 정도를 갖는 픽셀의 수가 사용자가 설정한 임계값을 넘는 영역인 스테레오 카메라 촬영 영상의 보정 방법.
제1항 또는 제2항에 있어서, 상기 영상을 보정하는 단계는,
상기 제1 및 제2 이미지에 촬상된 피사체에서 손실된 부분에 대해 상기 제1 이미지의 손실 부분은 상기 제2 이미지를 참조하고, 상기 제2 이미지의 손실 부분은 상기 제1 이미지를 참조하여 복원하는 스테레오 카메라 촬영 영상의 보정 방법.
제2항에 있어서,
상기 소정 영역은 제1 및 제2 이미지에 촬상된 보정하고자 하는 피사체를 포함하는 스테레오 카메라 촬영 영상의 보정 방법.
제1항에 있어서,
상기 제1 및 제2 이미지의 스캔은, 상기 제1 및 제2 이미지에서 소정 피사체가 수직 방향으로 동일한 베이스 라인에 위치하도록 한 후 수평 방향으로 진행하는 스테레오 카메라 촬영 영상의 보정 방법.
제6항에 있어서,
상기 제1 및 제2 이미지의 스캔은, 수평 방향으로 동일한 방향으로 진행하는 스테레오 카메라 촬영 영상의 보정 방법.
스테레오 카메라에서 동시 촬영된 제1 및 제2 이미지를 입력받는 사용자 입력부;
입력된 상기 제1 및 제2 이미지를 저장하는 메모리;
상기 제1 및 제2 이미지를 스캔하여 픽셀 별로 휘도 정보를 인식하고, 상기 픽셀 별 휘도 정보를 비교하여 정보가 동일한 영역과 차이가 나는 영역을 파악하며, 상기 제1 및 제2 이미지에서 픽셀 별 휘도 정보가 차이 나는 영역은 제1 및 제2 이미지를 참조하여 영상을 보정하는 제어부;를 포함하는 단말.
제8항에 있어서,
상기 제어부는, 제1 및 제2 이미지에서 소정 영역을 선택하고, 상기 제1 및 제2 이미지에서 선택된 소정 영역에 대해 스캔을 시행하는 것을 포함하는 단말.
제8항에 있어서,
상기 제어부는, 상기 제1 및 제2 이미지에서 인접하는 픽셀 간에 지속적으로 동일한 휘도 정도를 갖는 픽셀의 수가 사용자가 설정한 임계값을 넘는 영역을 픽셀 별 휘도 정보가 동일한 영역으로 인식하는 단말.
제8항에 있어서,
상기 제어부는, 상기 제1 및 제2 이미지에 촬상된 피사체에서 손실된 부분에 대해 상기 제1 이미지의 손실 부분은 상기 제2 이미지를 참조하고, 상기 제2 이미지의 손실 부분은 상기 제1 이미지를 참조하여 복원하는 단말.
제9항에 있어서,
상기 소정 영역은 제1 및 제2 이미지에 촬상된 보정하고자 하는 피사체를 포함하는 단말.