KR20150104846A

KR20150104846A - 단안 카메라를 이용한 3차원 영상 생성 방법 및 그 장치

Info

Publication number: KR20150104846A
Application number: KR1020140026728A
Authority: KR
Inventors: 이석범; 김양신; 석동희
Original assignee: 현대자동차주식회사
Priority date: 2014-03-06
Filing date: 2014-03-06
Publication date: 2015-09-16
Also published as: US20150256811A1

Abstract

본 발명은 단안 카메라를 이용한 3차원 영상 생성 방법 및 그 장치에 관한 것으로, 본 발명에 따르면 조명의 광 세기를 단계적으로 조절하며 단안 카메라를 통해 광 세기 단계별 영상들을 촬영하고, 상기 광 세기 단계별 영상들을 각각 이진 영상으로 변환한 후 상기 이진 영상으로 변환된 영상들간의 차영상을 구하고, 그 차영상들을 재구성하여 3차원 영상을 생성한다.

Description

단안 카메라를 이용한 3차원 영상 생성 방법 및 그 장치{METHOD AND APPARATUS FOR GENERATING THREE DIMENSIONAL IMAGE USING A MONOSCOPIC CAMERA}

본 발명은 단안 카메라를 이용한 3차원 영상 생성 방법 및 그 장치에 관한 것으로, 더욱 상세하게는, 조명의 광 세기를 조절하며 단안 카메라를 통해 촬영한 영상들을 이용하여 3차원 영상을 생성하는 단안 카메라를 이용한 3차원 영상 생성 방법 및 그 장치에 관한 것이다.

물체를 볼 때 인간의 두 눈은 일정 거리가 떨어져 있기 때문에 좌안과 우안에 다른 영상이 맺히게 된다. 이것을 양안시차라 하는데 뇌에서는 이 두 영상을 종합적으로 판단하여 하나의 영상으로 인지하게 되고 3차원 영상으로 입체감을 느끼게 된다.

종래의 3차원 영상은 주로 스테레오 카메라를 사용하여 획득하였다. 그러나, 스테레오 카메라를 이용하는 경우 3차원 영상 검출 시 연산량이 증대되며 카메라 추가에 의한 원가 상승도 초래한다.

또한, 기존의 TOF(time of flight) 방식 또는 구조화광(structured light) 방식 등의 3차원 카메라는 깊이 측정 범위 및 해상도가 하드웨어에 종속되므로 다양한 운전자 자세에서 얼굴을 측정하기가 어렵다.

본 발명은 상기한 종래의 문제점을 해결하기 위하여 안출된 것으로, 조명의 광 세기를 조절하며 단안 카메라를 통해 촬영한 영상들을 이용하여 3차원 영상을 생성하는 단안 카메라를 이용한 3차원 영상 생성 방법 및 그 장치를 제공하는데 그 목적이 있다.

상기한 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 단안 카메라를 이용한 3차원 영상 생성 방법은 조명의 광 세기를 단계적으로 조절하며 단안 카메라를 통해 광 세기 단계별 영상들을 촬영하는 단계와, 상기 광 세기 단계별 영상들을 각각 이진 영상으로 변환하는 단계와, 상기 이진 영상으로 변환된 영상들간의 차영상을 구하는 단계와, 상기 차영상들을 재구성하여 3차원 영상을 생성하는 단계를 포함하는 것을 특징으로 한다.

또한, 상기 영상 촬영 단계는, 조명의 광 세기를 초기 광 세기부터 최대 광 세기까지 단계적으로 증가시키며 영상을 촬영하는 것을 특징으로 한다.

또한, 상기 최대 광 세기는, 피사체 전체가 캡쳐되는 광 세기로 설정되는 것을 특징으로 한다.

본 발명의 다른 실시예에 따른 단안 카메라를 이용한 3차원 영상 생성 방법은 조명의 광 세기를 단계적으로 조절하며 단안 카메라를 통해 광 세기 단계별 영상들을 촬영하는 단계와, 상기 광 세기 단계별 영상들간의 차영상을 구하는 단계와, 상기 차영상을 재구성하여 3차원 영상을 생성하는 단계를 포함하는 것을 특징으로 한다.

또한, 상기 단안 카메라는, 이진 카메라로 구현되는 것을 특징으로 한다.

본 발명의 일 실시예에 따른 단안 카메라를 이용한 3차원 영상 생성 장치는 소정 광 세기로 광을 조사하는 조명부와, 하나의 렌즈로 영상을 촬영하는 단안 카메라와, 상기 광 세기를 단계적으로 조절하며 상기 단안 카메라를 통해 광 세기 단계별 영상들을 촬영하고 그 촬영된 영상들간의 차영상을 구한 후 차영상들을 재구성하여 3차원 영상을 생성하는 처리부를 포함하는 것을 특징으로 한다.

또한, 상기 처리부는, 상기 광 세기 단계별 영상을 이진 영상으로 변환한 후 변환된 이진 영상들 간의 차영상을 구하여 깊이별 영상을 획득하는 것을 특징으로 한다.

또한, 상기 처리부는, 상기 조명부의 광 세기를 초기 광 세기부터 최대 광 세기까지 단계적으로 증가시키며 상기 단안 카메라를 통해 영상을 촬영하는 것을 특징으로 한다.

또한, 상기 처리부는, 상기 광 세기 단계별 영상들의 전후 영상 간의 차영상을 구하는 것을 특징으로 한다.

본 발명은 조명의 광 세기를 조절하며 단안 카메라를 통해 촬영한 영상들을 이용하여 3차원 영상을 생성할 수 있다. 이와 같이, 본 발명은 단안 카메라를 이용하므로, 원가를 절감할 수 있다.

또한, 본 발명은 조명의 광 세기 조절을 통해 원하는 깊이(depth)에 원하는 해상도를 자유롭게 설정할 수 있다.

또한, 본 발명은 이진 카메라 사용 시 연산량의 감소로 연산 속도가 빨라져 원가 절감 및 상품성을 향상시킬 수 있다.

도 1은 본 발명의 일 실시예에 따른 단안 카메라를 이용한 3차원 영상 생성 장치의 블록구성도.
도 2는 본 발명의 일 실시예에 따른 촬영 영상을 이진 영상으로 변환하는 일 예.
도 3은 본 발명의 일 실시예에 따른 차영상을 이용하여 3차원 영상을 생성하는 일 예.
도 4는 본 발명의 일 실시예에 따른 단안 카메라를 이용한 3차원 영상 생성 방법을 도시한 흐름도.

이하, 첨부된 도면들을 참조하여 본 발명의 실시예를 상세하게 설명한다.

도 1은 본 발명의 일 실시예에 따른 단안 카메라를 이용한 3차원 영상 생성 장치의 블록구성도를 도시하고, 도 2는 본 발명의 일 실시예에 따른 촬영 영상을 이진 영상으로 변환하는 일 예를 도시하며, 도 3은 본 발명의 일 실시예에 따른 차영상을 이용하여 3차원 영상을 생성하는 일 예를 도시한다.

도 1에 도시된 바와 같이, 본 발명에 따른 3차원 영상 생성 장치는 조명부(10), 단안 카메라(20), 사용자 입력부(30), 저장부(40), 표시부(50), 처리부(60)를 포함한다.

조명부(10)는 소정 광 세기로 피사체에 광을 조사하는 기기로, 발광소자(Light Emitting Diode, LED), 백열 램프, 할로겐 램프 등을 광원으로 이용한다.

조명부(10)가 조사하는 광 세기

는 [수학식 1]과 같이 나타낼 수 있다.

여기서,

는 조명의 광 세기이고,

는 조명과 피사체 사이의 거리이다.

조명부(10)에서 조사한 광이 피사체에서 반사되는데, 이때 반사광 세기

는 [수학식 2]에 의해 산출된다.

여기서,

는 상수이다.

단안 카메라(20)는 하나의 렌즈를 통해 피사체를 촬영(캡쳐)할 수 있다. 단안 카메라(20)는 촬영한 영상(이미지)에 대한 밝기 및/또는 색상 정보를 YCrCb 색 공간(color space) 또는 RGB 색 공간과 같은 색 공간으로 표현할 수 있다.

단안 카메라(20)의 획득 광 세기

는 다음 [수학식 3]을 이용하여 연산할 수 있다. 즉, 단안 카메라(20)의 획득 광 세기는 단안 카메라(20)를 통한 촬영 시 렌즈를 통해 입사되는 광 세기를 의미한다.

인 경우,

카메라에 의해 획득되는 광 세기는 [수학식 4]와 같이 조명의 광 세기와 조명과 피사체 사이의 거리의 함수 관계를 갖는다.

사용자 입력부(30)는 사용자로부터 명령 및 데이터를 입력받는 역할을 한다. 사용자 입력부(30)는 키패드, 버튼, 터치스크린, 터치패드 등의 형태로 구현될 수 있다.

저장부(40)는 단안 카메라(20)에 의해 캡쳐되는 이미지 및 설정 정보들을 저장한다.

표시부(50)는 단안 카메라(20)의 렌즈를 통해 입력되는 영상을 표시하거나 촬영된 영상과 같은 각종 데이터를 표시한다. 표시부(50)는 3차원 영상 생성 장치의 동작에 따른 상태 및 결과를 출력한다.

처리부(60)는 상기한 각 구성요소들을 제어하여 3차원 영상 생성 장치의 동작을 제어한다. 처리부(60)는 사용자 입력부(30)로부터 입력되는 제어명령에 따라 조명부(10)의 최대 광세기를 설정하고, 조명부(10)를 제어하여 단계적으로 광세기를 조절한다. 처리부(60)는 조명부(10)의 광세기를 설정된 최소 광세기로부터 단계적으로 증가시키며 단안 카메라(20)를 통해 둘 이상의 영상을 촬영한다. 이때, 단안 카메라(20)에 의해 촬영된 영상은 2차원 영상이다.

처리부(60)는 단안 카메라(20)에 의해 촬영된 영상들을 각각 이진 영상으로 변환한다. 이때, 처리부(60)는 [수학식 5]를 이용하여 이진 영상으로 변환한다. 예컨대, 처리부(60)는 단안 카메라(20)를 통해 캡쳐된 영상의 각 픽셀의 광 세기가 임계값 초과 여부에 따라 0 또는 1로 표현한다.

여기서,

는 임계값으로 소프트웨어적으로 설정하거나 카메라의 하드웨어 이득값을 조절함으로써 설정할 수 있다.

도 2에 도시된 바와 같이 조명의 광 세기를 4단계로 조절하는 경우, 처리부(60)는 설정된 최소 광 세기에서 한 단계씩 광 세기를 증가시키며 원하는 해상도의 영상을 각각 캡쳐하고, 그 캡쳐된 영상을 2진 영상으로 변환한다.

처리부(60)는 변환한 광 세기별 이진 영상들 간의 차영상(J)을 구하여 각 깊이에 대응하는 영상을 획득할 수 있다. 도 3에 도시된 바와 같이, 광 세기 전후 이진 영상 간의 차영상 I₄(1)-I₄(2), I₄(2)-I₄(3), I₄(3)-I₄(4)를 각각 구한다. 이렇게 구해진 차영상은 각 깊이별 영상에 해당한다.

처리부(60)은 차영상들을 재구성하여 3차원 영상을 생성한다. 즉, 처리부(60)는 깊이에 따라 차영상들을 재구성하여 3차원 영상을 생성한다.

도 4는 본 발명의 일 실시예에 따른 단안 카메라를 이용한 3차원 영상 생성 방법을 도시한 흐름도이다.

먼저, 3차원 영상 생성 장치의 처리부(60)는 사용자 입력부(30)로부터 입력되는 사용자 입력에 따라 최대 광 세기를 설정한다(S11). 여기서, 최대 광 세기는 촬영을 원하는 피사체 전체를 캡쳐하기 위한 광 세기이다. 예컨대, 피사체가 운전자 얼굴인 경우, 운전자의 얼굴 전체가 캡쳐되는 광 세기를 최대 광 세기로 설정한다. 이때, 처리부(60)는 초기 광세기(최소 광세기)도 설정할 수 있다.

처리부(60)는 조명부(10)의 광세기를 초기 광세기부터 최대 광세기까지 단계적으로 조절하며 단안 카메라(20)를 통해 광세기 단계별 영상을 촬영한다(S12). 즉, 처리부(60)는 광세기를 단계적으로 증가시키며 각 단계별 영상을 캡쳐한다.

처리부(60)는 단안 카메라(20)에 의해 촬영된 영상들을 각각 이진 영상으로 변환한다(S13). 즉, 처리부(60)는 단안 카메라(20)에 의해 촬영된 2차원 영상을 이진 영상으로 변환한다.

처리부(60)는 변환된 광 세기 단계별 이진 영상들 간의 차영상을 구한다(S14). 이때, 처리부(60)는 광 세기 전후 이진 영상 간의 차영상을 구하므로 각 깊이별 영상을 획득한다.

처리부(60)는 깊이에 따라 차영상들을 재구성하므로 3차원 영상을 생성한다(S15).

상기한 실시예에서는 단안 카메라(20)를 이용하는 것을 예로 들어 설명하고 있으나, 단안 카메라(20)로 이진 카메라를 사용할 수도 있다. 3차원 영상 생성 장치에 이진 카메라를 적용하는 경우 카메라에 의해 촬영된 영상을 이진 영상으로 변환하는 과정을 거치지 않고 바로 이진 영상 간의 차영상을 구한다. 따라서, 이진 카메라를 사용하는 경우 연산량을 줄일 수 있을 뿐만 아니라 처리 속도도 빠르게 향상 시킬 수 있다.

10: 조명부
20: 단안 카메라
30: 사용자 입력부
40: 저장부
50: 표시부
60: 처리부

Claims

조명의 광 세기를 단계적으로 조절하며 단안 카메라를 통해 광 세기 단계별 영상들을 촬영하는 단계와,
상기 광 세기 단계별 영상들을 각각 이진 영상으로 변환하는 단계와,
상기 이진 영상으로 변환된 영상들간의 차영상을 구하는 단계와,
상기 차영상들을 재구성하여 3차원 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 단안 카메라를 이용한 3차원 영상 생성 방법.
제1항에 있어서,
상기 영상 촬영 단계는,
조명의 광 세기를 초기 광 세기부터 최대 광 세기까지 단계적으로 증가시키며 영상을 촬영하는 것을 특징으로 하는 단안 카메라를 이용한 3차원 영상 생성 방법.
제2항에 있어서,
상기 최대 광 세기는,
피사체 전체가 캡쳐되는 광 세기로 설정되는 것을 특징으로 하는 단안 카메라를 이용한 3차원 영상 생성 방법.
조명의 광 세기를 단계적으로 조절하며 단안 카메라를 통해 광 세기 단계별 영상들을 촬영하는 단계와,
상기 광 세기 단계별 영상들간의 차영상을 구하는 단계와,
상기 차영상을 재구성하여 3차원 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 단안 카메라를 이용한 3차원 영상 생성 방법.
제 4항에 있어서,
상기 단안 카메라는,
이진 카메라로 구현되는 것을 특징으로 하는 단안 카메라를 이용한 3차원 영상 생성 방법.
소정 광 세기로 광을 조사하는 조명부와,
하나의 렌즈로 영상을 촬영하는 단안 카메라와,
상기 광 세기를 단계적으로 조절하며 상기 단안 카메라를 통해 광 세기 단계별 영상들을 촬영하고 그 촬영된 영상들간의 차영상을 구한 후 차영상들을 재구성하여 3차원 영상을 생성하는 처리부를 포함하는 것을 특징으로 하는 단안 카메라를 이용한 3차원 영상 생성 장치.
제6항에 있어서,
상기 처리부는,
상기 광 세기 단계별 영상을 이진 영상으로 변환한 후 변환된 이진 영상들 간의 차영상을 구하여 깊이별 영상을 획득하는 것을 특징으로 하는 단안 카메라를 이용한 3차원 영상 생성 장치.
제6항에 있어서,
상기 처리부는,
상기 조명부의 광 세기를 초기 광 세기부터 최대 광 세기까지 단계적으로 증가시키며 상기 단안 카메라를 통해 영상을 촬영하는 것을 특징으로 하는 단안 카메라를 이용한 3차원 영상 생성 장치.
제6항에 있어서,
상기 처리부는,
상기 광 세기 단계별 영상들의 전후 영상 간의 차영상을 구하는 것을 특징으로 하는 단안 카메라를 이용한 3차원 영상 생성 장치.
제6항에 있어서,
상기 단안 카메라는,
이진 카메라로 구현되는 것을 특징으로 하는 단안 카메라를 이용한 3차원 영상 생성 장치.