KR20130078990A

KR20130078990A - 입체영상촬영장치에서의 주시각 제어장치

Info

Publication number: KR20130078990A
Application number: KR1020120000193A
Authority: KR
Inventors: 조준동; 박찬오; 이동훈; 김용한
Original assignee: 성균관대학교산학협력단
Priority date: 2012-01-02
Filing date: 2012-01-02
Publication date: 2013-07-10
Also published as: KR101345971B1

Abstract

본 발명은 입체영상촬영장치에서의 주시각 제어장치에 관한 것으로서, 스테레오 카메라에 의하여 스테레오 영상을 구성하는 시차(視差)가 다른 2개의 이미지를 획득하는 촬영부(100); 상기 획득된 2개의 이미지의 시차로부터 상기 스테레오 영상의 변이 정보인 디스패리티(Disparity) 정보를 추출하는 영상 처리부(300); 상기 추출된 디스패리티 정보를 이용하여 디스패리티 맵(Disparity Map)을 생성하고, 상기 디스패리티 맵을 이용하여 상기 스테레오 영상에 포함된 객체들 각각에 대한 이미지의 깊이를 나타내는 제1 뎁스맵(Depth-Map)을 생성하는 깊이 영역 획득부(400); 상기 생성된 제1 뎁스맵을 히스토그램(Histogram)화 하고 상기 히스토그램을 이용하여 상기 객체들 각각을 거리별로 구분하는 제2 뎁스맵을 생성하는 세그먼테이션부(450); 상기 생성된 제2 뎁스맵으로부터 상기 객체들 각각에 대한 VFL(Visual Fatigue Level)값을 산출하는 VFL 획득부(500); 상기 산출된 VFL값 중 가장 높은 값을 갖는 객체를 초점으로 주시각을 자동 제어하고, 주시각이 자동 제어된 스테레오 영상을 디스플레이에 출력하는 자동 주시각 제어부(600)를 포함한다. 이에 의하면, 스테레오 카메라 촬영 후 짧은 시간 내의 간단한 조작만으로도 VFL값에 따라 사용자가 원하는 객체에 초점을 맞추어 주시각을 제어할 수 있는 효과가 있다.

Description

입체영상촬영장치에서의 주시각 제어장치{APPARATUS FOR CONVERGENCE IN 3D PHOTOGRAPHING APPARATUS}

본 발명은 주시각 제어장치에 관한 것으로, 특히 VFL값을 이용하여 반자동에 의해 원하는 객체를 초점으로 단시간 내에 정확하게 주시각을 제어 할 수 있는 3D촬영장치에서의 주시각 제어장치에 관한 것이다.

본 발명은 주시각 제어장치에 관한 것이다. 본 발명의 배경이 되는 기술은 대한민국 공개특허공보 제10-2010-0131814호에 개시되어 있는 바와 같이, 3D촬영장치를(스테레오 카메라) 이용하여 영상 촬영 시 자동 초점 기능에 의해서 중앙에 초점이 맞춰지도록 구성되어 있고, 사용자에 의해 초점을 변경하기 위해서는 여러 수동 조정단계를 거쳐 피사체를 구성하는 특정 물체에 대해 초점을 변경할 수 있는 구성이다.

그러나, 상술한 바와 같은 종래 기술은 중앙에 위치한 물체에 의해 3D효과가 과해지거고 시각적 피로를 발생시킬 수 있는 문제점이 있다.

또한, 촬영 후 사용자가 원하는 물체에 초점을 맞추기 위한 수동 조절기능은 순차적으로 초점 위치를 변화시켜야 하므로 초점 위치 변경 과정이 상당히 복잡하고 불편한 문제점이 있다.

또한, 종래 기술은 3D촬영장치의 초점 설정 기능에 있어서 뎁스의 단계를 순차적으로 넘기게 되어있어 원하는 뎁스를 선택하는데 많은 불편과 장시간이 소요되는 문제점이 있다.

참고로 도 1은 종래기술을 설명하기 위한 도면으로서, 도 1에 기재된 도면부호는 본 발명과는 무관하다.

따라서, 본 발명은 상기한 종래 기술에 따른 문제점을 해결하기 위한 것으로, 스테레오 카메라에 의한 피사체 촬영 후 그 영상의 뎁스를 단계로 나누고 VFL값에 따라 디스플레이에 각 객체별로 구분되어 출력할 수 있는 3D촬영장치에서의 주시각 제어장치의 제공을 그 목적으로 한다.

또한, 사용자가 원하는 객체를 선택하여 초점을 맞출 수 있는 입체영상촬영장치에서의 주시각 제어장치의 제공을 그 목적으로 한다.

본 발명의 해결하고자 하는 과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해되어 질 수 있을 것이다.

본 발명에 따른 입체 영상촬영장치에서의 주시각 제어장치는 스테레오 카메라에 의하여 스테레오 영상을 구성하는 시차(視差)가 다른 2개의 이미지를 획득하는 촬영부(100); 획득된 2개의 이미지의 시차로부터 스테레오 영상의 변이 정보인 디스패리티(Disparity) 정보를 추출하는 영상 처리부(300); 추출된 디스패리티 정보를 이용하여 디스패리티 맵(Disparity Map)을 생성하고, 디스패리티 맵을 이용하여 스테레오 영상에 포함된 객체들 각각에 대한 이미지의 깊이를 나타내는 제1 뎁스맵(Depth-Map)을 생성하는 깊이 영역 획득부(400); 생성된 제1 뎁스맵을 히스토그램(Histogram)화 하고 히스토그램을 이용하여 객체들 각각을 거리별로 구분하는 제2 뎁스맵을 생성하는 세그먼테이션부(450); 생성된 제2 뎁스맵으로부터 상기 객체들 각각에 대한 VFL(Visual Fatigue Level)값을 산출하는 VFL 획득부(500); 및 상기 산출된 VFL값 중 가장 높은 값을 갖는 객체를 초점으로 주시각을 자동 제어하고, 주시각이 자동 제어된 스테레오 영상을 디스플레이에 출력하는 자동 주시각 제어부(600)를 포함한다.

본 발명에 따른 입체 영상촬영장치에서의 주시각 제어장치에 있어서, 디스플레이에 출력된 스테레오 영상에 포함된 객체들 중 선택된 어느 하나의 객체를 초점으로 하여 상기 스테레오 영상의 주시각을 제어하는 반자동 주시각 제어부를 더 포함하는 것이 바람직하다.

본 발명에 따른 입체 영상촬영장치에서의 주시각 제어장치에 있어서, VFL 획득부(500)는, 하기의 수학식 1을 이용하여 CZF(Comfort Zone Function, 편한 구간 함수)를 구하는 CZF 함수 산출 단계와; CZF 함수와 하기의 수학식 2를 이용하여 상기 세그먼테이션부에서 거리별로 구분된 각각의 객체들에 대한 가중치인 W를 구하는 가중치 산출 단계와; 세그먼테이션부에서 거리별로 구분된 각각의 객체들에 대하여 하기의 수학식 3과 상기 가중치(W)를 이용하여 VFL(Visual Ftigue Level) 값을 산출하는 VFL값 산출단계를 수행하는 것이 바람직하다.

[수학식 1]

[수학식 2]

[수학식 3]

본 발명에 따른 입체 영상촬영장치에서의 주시각 제어장치에 있어서, VFL 획득부(500)는, VFL 값 산출 단계 후에 상기 VFL 값과 하기의 수학식 4를 이용하여 상기 세그먼테이션부에서 거리별로 구분된 각각의 객체들에 초점을 맞추기 위한 시프트 값인 D값을 산출하는 시프트 값(D)을 산출 단계를 더 수행하는 것이 바람직하다.

[수학식 4]

본 발명에 따른 입체 영상촬영장치에서의 주시각 제어장치에 있어서, 자동 주시각 제어부(600)에서의 자동 주시각 제어는 산출된 VFL 값 중 가장 높은 값을 갖는 객체를 상기 산출된 시프트 값(D)에 따라 이동시킴으로써 초점이 제어되는 것이 바람직하다.

본 발명에 따른 입체 영상촬영장치에서의 주시각 제어장치에 있어서, 반자동 주시각 제어부에서의 반자동 주시각 제어는 상기 선택된 어느 하나의 객체를 산출된 시프트값(D)에 따라 이동시킴으로써 초점이 제어되는 것이 바람직하다.

본 발명에 따른 입체 영상촬영장치에서의 주시각 제어장치에 있어서, 디스플레이는 터치 스크린으로 구성되고, 반자동 주시각 제어부는, 디스플레이에 출력된 객체들 중 어느 하나가 터치되어 선택된 경우, 선택된 객체를 초점으로 하여 스테레오 영상에 대한 주시각을 제어하는 것이 바람직하다.

상기한 바와 같이 본 발명에 따른 입체영상촬영장치에서의 주시각 제어장치에 따르면, 스테레오 카메라 촬영 후 짧은 시간 내의 간단한 조작만으로도 VFL값에 따라 사용자가 원하는 객체에 초점을 맞추어 주시각을 제어할 수 있는 효과가 있다.

또한, 사용자에게 피사체에 포함된 객체들 중 하나의 객체를 임의로 선택하여 초점을 변경할 수 있는 효과가 있다.

본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해되어 질 수 있을 것이다.

도 1은 본 발명의 배경기술에 대한 도면이다.
도 2는 주시각에 대한 설명도이다.
도 3은 본 발명에 따른 입체영상촬영장치에서의 주시각 제어장치에 대한 블록 구성도이다.
도 4는 상기 촬영부의 좌측 카메라와 우측 카메라를 통해 획득된 시차가 다른 2개의 이미지에 대한 예시도이다.
도 5는 영상 처리부에서 생성된 도 4에 대한 제1 뎁스맵을 생성한 예시도이다.
도 6은 도 5의 뎁스맵의 히스토그램을 생성한 예시도이다.
도 7은 도 6의 히스토그램을 이용해 제2 뎁스맵을 생성한 예시도이다.
도 8은 세그먼테이션 방식에 대한 예시도이다.
도 9내지 도 11은 본 발명에 의한 VFL 알고리즘 및 주시각 제어방식에 대한 예시도이다.
도 12는 VFL값의 예시도이다.
도13은 본 발명에 의한 주시각 제어 방법의 전체 순서도이다.

이하, 본 발명에 따른 입체영상촬영장치에서의 주시각 제어장치에 대하여 첨부된 도면을 참조하여 상세히 설명한다.

도면에 대한 상세한 설명을 하기에 앞서, 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. 그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다. 따라서, 본 명세서를 통해 설명되는 각 구성부들의 존재 여부는 기능적으로 해석되어야 할 것이다.

입체영상촬영장치에는 스테레오 영상을 출력하기 위해 스테레오 카메라, 즉 좌측 카메라(101)와 우측 카메라(102)가 포함된다. 좌측 카메라와 우측 스테레오 카메라의 주시각(注視角)이 임의의 거리로 고정된 좌측 카메라와 우측 카메라에 의해 2개의 이미지를 이용하여 스테레오 영상처리를 수행하고 얻어진 주시점으로 주시각이 자동으로 형성되는 구성을 갖는 것이 일반적이다.

이때, 주시각이란 도 2에 도시된 바와 같이 물체(객체)에 상기 좌측 카메라(101)와 우측 카메라(102)의 중심선이 일치될 때 두 중심선의 만나는 각도를 의미한다. 이때, 스테레오 카메라에 있어서, 상기 좌측 및 우측 카메라의 중심선이 주시하고자 하는 물체의 중심에 일치해야만 사람의 눈과 같이 물체를 입체적으로 볼 수 있고 주시 피로감도 줄일 수 있게 된다. 하지만 이런 방식을 위해서는 카메라의 광축을 움직이기 위한 기계요소가 필요해 비용이 많이 듦으로 본 특허에서는 카메라는 고정시켜 놓고 이미지를 좌우로 움직여 초점을 맞추는 가상 주시각 제어를 사용한다. 앞으로의 내용에 나오는 주시각 제어는 이 가상주시각 제어를 의미한다.

본 발명은 입체영상촬영장치에서의 주시각 제어장치에 관한 것으로서, 처음 얻어진 불명확한 뎁스 정보를 히스토그램화 하여 명확히 거리별 객체(Object, 오브젝트)들로 나누어 뎁스맵을 재구성한다. 여기서 새로 얻어진 뎁스정보를 이용하여 VFL(Visual Fatige Level)값을 산출하고 VFL(Visual Fatige Level)값에 따라 주시각을 제어하게 된다(구체적인 설명은 후술함).

[질문]

1. 기타 본 발명에 명세서의 기재 중 수정될 내용이나 추가될 내용이 있는지 검토를 부탁드립니다.

2. 또한, 하기의 수학식 1 내지 수학식 10에 사용되는 각 첨자들의 의미와 그 기능에 대한 구체적인 설명을 부탁드립니다.

[답변]

도 3은 본 발명에 따른 입체영상촬영장치에서의 주시각 제어장치에 대한 블록 구성도이다.

본 발명에 따른 입체영상촬영장치에서의 주시각 제어장치는 스테레오 카메라에 의하여 스테레오 영상을 구성하는 시차(視差)가 다른 2개의 이미지를 획득하는 촬영부(100)와, 상기 획득된 2개의 이미지의 시차로부터 상기 스테레오 영상의 변이 정보인 디스패리티(Disparity) 정보를 추출하는 영상 처리부(300)와, 상기 추출된 디스패리티 정보를 이용하여 디스패리티 맵(Disparity Map)을 생성하고, 상기 디스패리티 맵을 이용하여 상기 스테레오 영상에 포함된 객체들 각각에 대한 이미지의 깊이를 나타내는 제1 뎁스맵(Depth-Map)을 생성하는 깊이 영역 획득부(400)와, 상기 생성된 제1 뎁스맵을 히스토그램(Histogram)화 하고 상기 히스토그램을 이용하여 상기 객체들 각각을 거리별로 구분하는 제2 뎁스맵을 생성하는 세그먼테이션부(450)와, 상기 생성된 제2 뎁스맵으로부터 상기 객체들 각각에 대한 VFL(Visual Fatigue Level)값을 산출하는 VFL 획득부(500) 및 상기 산출된 VFL값 중 가장 높은 값을 갖는 객체를 초점으로 주시각을 자동 제어하고, 주시각이 자동 제어된 스테레오 영상을 디스플레이에 출력하는 자동 주시각 제어부(600)를 포함한다.

즉, 본 발명에 따른 입체영상촬영장치에서의 주시각 제어장치는 촬영부(100), 영상 처리부(300), 깊이 영역 획득부(400), 세그멜테이션부(450), VFL 획득부(500) 및 자동 주시각 제어부(600)을 포함한다.

상기 촬영부(100)는 스테레오 카메라, 즉 상기 좌측 카메라(101) 및 우측 카메라(102)와 피사체간의 이격 거리를 소정 횟수 변화시키며 피사체를 촬영한다. 이때, 상기 좌측 카메라(101)와 우측 카메라(102)를 통해 스테레오 영상에 대하여 시차가 있는 2개의 이미지가 획득된다.

상기 영상 처리부(300)는 상기 2개의 이미지의 시차를 통해 스테레오 영상의 변이 정보인 디스패리티 맵(Disparity Map) 정보를 생성하여 추출한다.

이때, 상기 디스패리티 정보 또는 디스패리티 맵 정보는 상기 촬영부(100)에서 획득된 시차가 다른 2개의 이미지간의 정합점을 찾는 스테레오 알고리즘을 이용하여 산출되는 시차정보가 된다.

즉, 상기 영상 처리부(300)는 상기 촬영부(100)에서 획득된 시차가 다른 2개의 이미지를 전송받아 그 시차가 다른 두 이미지를 처리를 통해 상기 디스패리티 (맵) 정보를 생성하는 수단이다.

디시패리티 맵 생성은 해당 분야에 널리 알려진 스테레오 매칭 알고리즘 등을 통해 수행될 수 있다.

본 발명에 의한 3D촬영장치에서의 반자동 주시각 제어장치는 상기 촬영부(100)에서 획득된 시차가 다른 두 이미지를 저장하는 영상 획득부(200)를 더 포함할 수 있다.

상기 영상 획득부(200)는 상기 촬영부(100)와 영상 처리부(300) 사이에 연결되어 상기 촬영부(100)에서 획득된 이미지를 저장하고 상기 영상 처리부(300)로 전달하는 수단이다.

상기 깊이 영역 획득부(400)는 상기 추출된 디스패리티 정보를 이용하여 디스패리티 맵을 생성하고, 상기 디스패리티 맵을 이용하여 상기 스테레오 영상에 포함된 객체들 각각에 대한 이미지의 깊이를 나타내는 제1 뎁스맵(Depth-Map)을 생성하는 수단이다.

상기 세스먼테이션(Segmentation)부(450)는 상기 제1 뎁스맵을 히스토그램(Histogram)화 하고 상기 히스토그램을 이용하여 객체들 각각을 거리별로 구분, 즉 세그먼테이션(Segmentation)하는 제2 뎁스맵을 생성하는 수단이다.

즉, 상기 세스먼테이션(Segmentation)부(450)는 상기 제1 뎁스맵을 히스토그램(Histogram)화 하고 상기 히스토그램을 이용하여 스테레오 영상에 포함되는 객체들 각각을 거리별로 구분하는 제2 뎁스맵 정보를 생성하는 기능을 수행한다.

상기 히스토그램이란, 영상 안에서 픽셀들에 대한 명암 값의 분포를 나타내는 것으로, 막대그래프로 표현된다. 이때, 각 명암값의 빈도수를 조사해서 그래프의 높이로 나타낸다.

상기 VFL 획득부(500)는 상기 생성된 제2 뎁스맵으로부터 상기 객체들 각각에 대한 VFL(Visual Fatigue Level)값을 산출하는 수단이다(구체적 설명은 후술함).

상기 자동 주시각 제어부(600)는 상기 산출된 VFL값 중 가장 높은 값을 갖는 객체를 초점으로 주시각을 자동 제어하고, 주시각이 자동 제어된 스테레오 영상을 디스플레이에 출력하는 수단이다.

본 발명에 따른 입체영상촬영장치에서의 주시각 제어장치는 상기 디스플레이에 출력된 스테레오 영상에 포함된 객체들 중 선택된 어느 하나의 객체를 초점으로 하여 상기 스테레오 영상의 주시각을 제어하는 반자동 주시각 제어부(700)를 더 포함할 수 있다.

이때, VFL 획득부(500)는, CZF(Comfort Zone Function, 편한 구간 함수) 함수 산출 단계와 가중치 산출 단계 및 VFL값 산출단계를 수행한다.

상기 CZF 함수 산출 단계는 하기의 수학식 1을 이용하여 편한 구간 함수인 CZF를 구한다.

[수학식 1]

또한, 상기 가중치 산출 단계는 상기 CZF와 하기의 수학식 2를 이용하여 상기 세그먼테이션부에서 거리별로 구분된 각각의 객체들에 대한 가중치인 W를 구한다.

[수학식 2]

또한, 상기 VFL값 산출단계는 상기 세그먼테이션부에서 거리별로 구분된 각각의 객체들에 대하여 하기의 수학식 3과 상기 가중치(W)를 이용하여 VFL(Visual Ftigue Level) 값을 산출한다.

[수학식 3]

이때, VFL 획득부(500)는 상기 VFL 값 산출 단계 후에 상기 VFL 값과 하기의 수학식 4를 이용하여 상기 세그먼테이션부에서 거리별로 구분된 각각의 객체들에 초점을 맞추기 위한 시프트 값인 D값을 산출하는 시프트 값(D)을 산출 단계를 더 수행하는 것이 바람직하다.

[수학식 4]

상기 자동 주시각 제어부(600)에서의 자동 주시각 제어는 상기 산출된 VFL 값 중 가장 높은 값을 갖는 객체를 상기 산출된 시프트 값(D)에 따라 이동시킴으로써 초점이 제어되도록 하는 것이 바람직하다.

또한, 상기 반자동 주시각 제어부에서의 반자동 주시각 제어는 상기 선택된 어느 하나의 객체를 상기 산출된 시프트값(D)에 따라 이동시킴으로써 초점이 제어되는 것이 바람직하다.

이때, 상기 디스플레이는 터치 스크린으로 구성되고, 상기 반자동 주시각 제어부는, 상기 디스플레이에 출력된 객체들 중 어느 하나가 터치되어 선택된 경우, 상기 선택된 객체를 초점으로 하여 상기 스테레오 영상에 대한 주시각이 제어되도록 할 수도 있다.

본 발명에 따른 입체영상촬영장치에서의 주시각 제어장치를 도 3을 참조하여 설명하면 다음과 같다.

스테레오 카메라, 즉 좌측 카메라(101)와 우측 카메라(102)를 통해 시차가 다른 두 이미지를 획득하고, 영상 획득부(200)에서 획득한 영상의 처리를 위해 저장한다.

상기 영상 처리부(300)는 상기 두 이미지 처리를 통해 디스패리티 정보를 구하고, 상기 깊이 영역 획득부(400)에서는 디스패리티 정보를 이용하여 디스패리티 맵을 구한다.

계속하여 상기 세그먼테이션부(450)에서 디스패리티 맵의 히스토그램을 이용하여 이미지에 포함된 각 객체들인 오브젝트를 세그먼테이션(Segmentation) 한다.

그 후, 상기 VFL 획득부(500)에서 고안한 알고리즘(상기 수학식 1 내지 수학식 4)을 이용하여 Visual Fatigue Level을 획득한다. 이때, VFL이 높을수록 눈의 피로도가 적다.

상기 자동 주시각 제어부(600)는 상기 VFL 획득부(500)에서 구한 VFL값을 이용하여 눈에 피로가 가장 적은 물체에 자동으로 초점을 맞춘다.

이때, 상기 반자동 주시각 제어부(700)는 잘못된 입체 영상 출력 시 터치버튼 혹은 조그다이얼 등을 이용하여 반자동 주시각 제어 할 수 있도록 한다.

이때, 상기 VFL 획득부(500)에서 얻은 VFL값을 통해 반자동 주시각 제어시 피로도가 가장 적은 물체에 우선적으로 초점을 맞춘다.

터치버튼 혹은 조그다이얼로 구성되는 사용자 입력부(800)를 통해 반자동 주시각 제어를 한다.

상기와 같은 구성에 의해 눈 피로도를 고려한 초점 설정이 된 3D영상을 디스플레이(850)를 통해 출력할 수 있다.

도 4는 상기 촬영부(100)의 좌측 카메라와 우측 카메라를 통해 획득된 시차가 다른 2개의 이미지의 예시도이고, 도 5는 상기 영상 처리부(30)에서 생성된 도 4에 대한 제1 뎁스맵을 생성한 예시도이고, 도 6은 상기 깊이 영역 획득부(60)에서 도 5의 뎁스맵의 히스토그램을 생성한 예시도이며, 도 7은 상기 깊이 영역 획득부(60)에서 도 6의 히스토그램을 이용해 제2 뎁스맵을 생성한 예시도이다.

하기의 수학식 5를 이용하여 처음 구한 뎁스맵을 통한 히스토그램을 low-pass filtering한다.

[수학식 5]

하기의 수학식 6 및 수학식 7을 이용하여 오브젝트의 피크 픽셀 수(Mp[k])와 해당 오브젝트의 중앙 뎁스(Ml[k])를 구한다.

[수학식 6]

[수학식 7]

하기의 수학식 8을 이용하여 임계값을 통해 많은 작은 오브젝트를 통일하고 유효한 포인트를 선별한다.

[수학식 8]

하기의 수학식 9를 이용하여 각 오브젝트들 사이에서 가장 작은 값을 경계 값으로 설정한다.

[수학식 9]

하기의 수학식 10을 이용하여 경계 값들에 의해 정의된 오브젝트의 히스토그램 값을 더하여 각 오브젝트의 영역(면적)을 구한다.

[수학식 10]

도 8은 상기 수학식 8을 이용하여 임의의 히스토그램 그래프를 통한 설명이다.

도 9 및 도 10은 도 4의 경우보다 뎁스 단계가 많은 이미지를 사용하한 예시도로서, 도 9는 뎁스맵을 통해 얻어진 히스토그램이고, 도 10은 히스토그램을 이용한 거리별 오브젝트 세그먼테이션된 뎁스맵의 예시도이다.

도 11을 참조하면 양안으로 디스플레이를 봤을 때 초점이 맞는 부분(디스패리티 값이 0인 comfort zone)을 기준으로 가까울수록 눈의 피로가 급격히 심해지고 멀수록 피로도가 서서히 증가하는 것을 알 수 있다(도 11의 왼쪽 도면). 이것을 통해 comfort zone function(상기 수학식 1 참조)을 구한다. 즉, 도 11의 오른쪽 도면은 두 이미지의 시차를 통한 가중치를 나타낸 그래프이다.

이때, 시차가 0인 곳을 기준으로 좌측은 카메라와 가까운 물체, 우측은 카메라와 멀리 있는 물체를 나타내고, (눈이)편한구간 함수(Comfort Zone Function, CZF)를 구한다.

그 후, 상기 수학식 2와 앞 단계에서 구한 CZF값을 이용하여 세그먼테이션 된 물체별 가중치 값(W)를 구한다.

그 다음, 상기 수학식 3을 이용하여 세그먼테이션 된 각 물체별 면적(S)와 가중치(W)의 곱의 합으로 Visual Fatigue Level(VFL)을 구한다.

이때, VFL값이 높을수록 눈의 피로가 덜하다.

도 12는 세그먼테이션 된 각 물체별 VFL값을 나타낸 도표이다.

여기서, x축은 세그먼테이션을 통해 나뉘어진 오브젝트 수이고, y축 은 Visual Fatigue Level을 나타낸다. 이때. VFL값이 가장 높은 1번 물체에 초점을 맞추어 화면에 출력 한다.

또한, 상기 수학식 4를 이용하여 각 단계의 물체에 초점을 맞추기 위해 이미지를 좌,우로 이동시킬 크기를 구한다.

이때, 두 이미지 중 한 이미지를 D값만큼 쉬프트 시켜 초점을 맞춘다.

본 발명에 따른 알고리즘을 도 13을 참조하여 설명하면 다음과 같다.

우선, 상기 좌측 카메라(101)와 우측 카메라(102)인 양안 카메라를 통해 좌, 우 이미지를 획득한다(S10).

그 다음, 두 이미지 간의 정합점을 찾는 알고리즘을 이용해 시차 정보를 구하고, 상기 시차 정보를 통해 이미지의 깊이를 구하여 뎁스맵을 생성한다(S20).

그 다음, 상기 뎁스맵의 정보를 히스토그램화 하여 오브젝트를 거리 별로 확실히 구분하는 새로운 뎁스맵, 즉 제2 뎁스맵을 생성한다(S30).

이때, 알고리즘을 통해 VFL값을 획득한다. VFL값이 높은 물체에 초점을 맞출 수록 눈에 피로가 덜하다.

그 다음, VFL값을 통해 가장 눈에 피로가 적은 물체에 자동 주시각 제어를 실행하여 화면에 3D영상을 출력 한다. 즉, 자동 주시각 제어를 통한 입체 영상을 디스플레이한다(S40).

그 다음, 상기 디스플레이에 원하는 입체 영상이 나온 경우 종료시키고(S50), 잘못된 영상 획득 시 반자동 주시각 제어를 통해 입체영상의 초점을 수정한다(S60).

앞서 구한 VFL값을 통해 각 물체에 초점 설정시 눈 피로도를 계산하여 피로가 적은 물체 순서대로 버튼 입력시 화면에 출력한다.

본 발명에 따른 입체영상촬영장치에서의 주시각 제어장치에 대해 다시 설명하면 다음과 같다.

최근 3D 영상이 이슈가 되면서 3D기술 또한 빠르게 발달하고 있다. 3D디지털 카메라 뿐만 아니라 모바일에 기술 적용이 늘어나고 있다. 하지만 3D 영상을 디스플레이 하는데 에는 눈의 피로, 멀미 등 많은 어려움이 있다. 이러한 문제점을 해결하기 위해 H/W, S/W적으로 많은 연구가 이루어 지고 있다.

기존에 나와있는 3D카메라는 자동 중앙초점 주시각 제어 후 수동 주시각 제어를 제공한다. H/W적 버튼을 통해 순차적으로 이미지를 시프트 시켜 원하는 초점을 설정할 수 있도록 한다. 이는 중앙에 위치한 물체에만 초점이 맞춰져 원치 않는 물체에 초점이 설정 되는 경우가 많아 눈의 피로를 유발하게 된다. 뿐만 아니라 버튼을 통해 이미지를 쉬프트시켜 원하는 물체에 초점을 맞춰야 하기 때문에 많은 시간이 걸린다. 원하는 물체에 초점을 맞추더라도 시각적 피로가 발생하게 되면 재 초점 설정이 불가피하다.

본 발명은 처음 얻어진 불 명확한 뎁스 정보를 히스토그램화 한뒤 이를 이용해 거리별로 오브젝트를 세그먼테이션 하고, 각 오브젝트에 초점 설정 시 발생 할 눈 피로도 단계(Visual Fatigue Level)를 구한다. VFL값을 이용해 눈의 피로가 가장적은 오브젝트에 초점을 맞춰 화면에 출력한다. 이후 사용자가 원치 않거나 잘못된 물체에 초점이 설정된 경우 터치 버튼이나 조그다이얼을 통해 초점 재설정이 가능하다. 재설정할 경우 앞서 구해진 VFL값을 참조하여 눈의 피로가 적은 오브젝트 순으로 변경 됨으로 사용자가 빠르고 쉬운 조작이 가능하다(도 3 및 도 13 참조).

본 발명의 핵심은 3D기술에서 가장 문제가 되고있는 눈의 피로도를 고려한 초점방식인 데 있다.

좌측 카메라(101)와 우측 카메라(102)인 양안 카메라를 통해 두 이미지를 획득한다.

이때 획득한 두 이미지의 시차를 통해 디스패리티 맵을 획득한 후 Histogram화하여 오브젝트를 거리별로 경계가 확실한 새로운 뎁스맵을 생성한다.

각 오브젝트별 눈의 피로 정도를 나타내는 VFL(Visual Fatigue Level)값을 획득한다. 앞단계에서 구한 VFL값을 이용해 각 깊이 오브젝트별 D(shift value)값을 구한다.

여기서 구한 D값은 각 오브젝트에 초점을 맞출 때 이미지를 얼마나 쉬프트 시켜야 하는지의 값을 가지고 있다.

도 5를 보면 1번 오브젝트의 VFL값이 가장 크게 나타나있다. 이는 1번 오브젝트에 초점 설정 시 눈의 피로가 가장 적다는 것을 나타낸다. 자동 주시각 제어부(600)에서 VFL값이 가장 큰(눈의 피로가 가장 적은) 오브젝트에 자동으로 초점을 맞춰 화면에 3D영상을 출력한다.

이때, 잘못되거나 원하지 않는 물체에 초점이 맞춰질 경우 사용자가 터치 버튼이나 조그다이얼 등을 통해 재 초점설정이 가능하다. 재 초점 설정을 위한 버튼 클릭시 깊이 순서에 따른 재설정이 아닌 VFL값을 적용 하여 초점 설정 시 눈에 피로가 덜한 오브젝트부터 우선순위를 정하게 된다. 본 발명의 핵심 중 하나인 VFL값을 적용한 각 오브젝트별 우선순위에 따라 눈에 피로가 적은 물체 순서대로 재 설정 됨으로 시간 낭비를 줄일 수 있고 사용자가 쉽고 편하게 사용 가능하다.

이상에서 대표적인 실시예를 통하여 본 발명에 대하여 상세하게 설명하였으나, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리 범위는 설명된 실시예에 국한되어 정해져서는 안 되며 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의하여 정해져야 한다.

100: 촬영부 101: 좌측 카메라
102: 우측 카메라 200: 영상 획득부
300: 영상 처리부 400: 깊이 영역 획득부
450: 세그먼테이션부 500: VFL 획득부
600: 자동 주시각 제어부 700: 반자동 주시각 제어부
800: 사용자 입력부 850: 디스플레이부

Claims

스테레오 카메라에 의하여 스테레오 영상을 구성하는 시차(視差)가 다른 2개의 이미지를 획득하는 촬영부(100);
상기 획득된 2개의 이미지의 시차로부터 상기 스테레오 영상의 변이 정보인 디스패리티(Disparity) 정보를 추출하는 영상 처리부(300);
상기 추출된 디스패리티 정보를 이용하여 디스패리티 맵(Disparity Map)을 생성하고, 상기 디스패리티 맵을 이용하여 상기 스테레오 영상에 포함된 객체들 각각에 대한 이미지의 깊이를 나타내는 제1 뎁스맵(Depth-Map)을 생성하는 깊이 영역 획득부(400);
상기 생성된 제1 뎁스맵을 히스토그램(Histogram)화 하고 상기 히스토그램을 이용하여 상기 객체들 각각을 거리별로 구분하는 제2 뎁스맵을 생성하는 세그먼테이션부(450);
상기 생성된 제2 뎁스맵으로부터 상기 객체들 각각에 대한 VFL(Visual Fatigue Level)값을 산출하는 VFL 획득부(500); 및
상기 산출된 VFL값 중 가장 높은 값을 갖는 객체를 초점으로 주시각을 자동 제어하고, 주시각이 자동 제어된 스테레오 영상을 디스플레이에 출력하는 자동 주시각 제어부(600)를 포함하는 입체 영상촬영장치에서의 주시각 제어장치.
제1항에 있어서,
상기 디스플레이에 출력된 스테레오 영상에 포함된 객체들 중 선택된 어느 하나의 객체를 초점으로 하여 상기 스테레오 영상의 주시각을 제어하는 반자동 주시각 제어부를 더 포함하는 입체영상촬영장치에서의 주시각 제어장치.
제2항에 있어서, VFL 획득부(500)는,
하기의 수학식 1을 이용하여 CZF(Comfort Zone Function, 편한 구간 함수)를 구하는 CZF 함수 산출 단계와;
상기 CZF 함수와 하기의 수학식 2를 이용하여 상기 세그먼테이션부에서 거리별로 구분된 각각의 객체들에 대한 가중치인 W를 구하는 가중치 산출 단계와;
상기 세그먼테이션부에서 거리별로 구분된 각각의 객체들에 대하여 하기의 수학식 3과 상기 가중치(W)를 이용하여 VFL(Visual Ftigue Level) 값을 산출하는 VFL값 산출단계를 수행하는 것을 특징으로 하는 입체 영상촬영장치에서의 주시각 제어장치.
[수학식 1]

[수학식 2]

[수학식 3]
제3항에 있어서, VFL 획득부(500)는,
상기 VFL 값 산출 단계 후에 상기 VFL 값과 하기의 수학식 4를 이용하여 상기 세그먼테이션부에서 거리별로 구분된 각각의 객체들에 초점을 맞추기 위한 시프트 값인 D값을 산출하는 시프트 값(D)을 산출 단계를 더 수행하는 것을 특징으로 하는 입체 영상촬영장치에서의 주시각 제어장치.
[수학식 4]
제4항에 있어서,
상기 자동 주시각 제어부(600)에서의 자동 주시각 제어는 상기 산출된 VFL 값 중 가장 높은 값을 갖는 객체를 상기 산출된 시프트 값(D)에 따라 이동시킴으로써 초점이 제어되는 것을 특징으로 하는 입체영상촬영장치에서의 주시각 제어장치.
제4항에 있어서,
상기 반자동 주시각 제어부에서의 반자동 주시각 제어는 상기 선택된 어느 하나의 객체를 상기 산출된 시프트값(D)에 따라 이동시킴으로써 초점이 제어되는 것을 특징으로 하는 입체영상촹영장치에서의 주시각 제어장치.
제2항에 있어서,
상기 디스플레이는 터치 스크린으로 구성되고,
상기 반자동 주시각 제어부는, 상기 디스플레이에 출력된 객체들 중 어느 하나가 터치되어 선택된 경우, 상기 선택된 객체를 초점으로 하여 상기 스테레오 영상에 대한 주시각을 제어하는 것을 특징으로 하는 3D촬영장치에서의 반자동 주시각 제어장치.