KR20120051308A - 3ｄ 입체감을 개선하고 시청 피로를 저감하는 방법 및 장치 - Google Patents

3ｄ 입체감을 개선하고 시청 피로를 저감하는 방법 및 장치 Download PDF

Info

Publication number
KR20120051308A
KR20120051308A KR1020100112687A KR20100112687A KR20120051308A KR 20120051308 A KR20120051308 A KR 20120051308A KR 1020100112687 A KR1020100112687 A KR 1020100112687A KR 20100112687 A KR20100112687 A KR 20100112687A KR 20120051308 A KR20120051308 A KR 20120051308A
Authority
KR
South Korea
Prior art keywords
eye image
left eye
right eye
parallax
image
Prior art date
Application number
KR1020100112687A
Other languages
English (en)
Inventor
윤국진
마코토 기무라
이진경
야수오 타키니
김태경
최현석
정택성
문경환
타카시마 마시히로
Original Assignee
삼성전자주식회사
광주과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 광주과학기술원 filed Critical 삼성전자주식회사
Priority to KR1020100112687A priority Critical patent/KR20120051308A/ko
Priority to US13/242,586 priority patent/US8760502B2/en
Publication of KR20120051308A publication Critical patent/KR20120051308A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/144—Processing image signals for flicker reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

3차원 촬상 장치를 이용해 수집된 3D 영상에서 상기 3D 영상의 입체감을 개선하고 상기 3D 영상의 시청 피로를 저감하는 방법 및 장치가 제공된다.

Description

3Ｄ 입체감을 개선하고 시청 피로를 저감하는 방법 및 장치 {Method for Improving 3 dimensional effect and reducing visual fatigue and Apparatus of Enabling the Method}
아래의 실시예들은 3차원 촬상 장치에 관한 것으로, 더욱 상세하게는 상기 3차원 촬상 장치를 이용해 수집된 3D 영상에서 상기 3D 영상의 입체감을 개선하고 상기 3D 영상의 시청 피로를 저감하는 방법 및 장치에 관한 것이다.
3D 영상 기술은 정보통신, 방송, 의료, 교육 훈련, 군사, 게임, 애니메이션, 가상현실, CAD, 산업 기술 등과 같이 다양한 응용 분야에서 사용될 수 있다.
일반적으로 사람이 지각하는 입체감은 관찰하고자 하는 물체의 위치에 따른 수정체의 두께 변화 정도, 양쪽 눈과 대상물과의 각도 차이, 그리고 좌우 눈에 보이는 대상물의 위치 및 형태의 차이, 대상물의 운동에 따라 생기는 시차, 그 밖에 각종 심리 및 기억에 의한 효과 등이 복합적으로 작용해 생긴다.
사람의 두 눈이 가로 방향으로 약 6~7㎝가량 떨어져 위치함으로써 나타나게 되는 양안 시차(binocular disparity)는 입체감의 한 요인이라고 할 수 있다. 즉, 양안 시차에 의해 대상물에 대한 각도 차이를 가지고 바라보게 되고, 이 차이로 인해 각각의 눈에 들어오는 이미지가 서로 다른 상을 갖게 되며 이 두 영상이 망막을 통해 뇌로 전달되면 뇌는 이 두 개의 정보를 정확히 서로 융합하여 본래의 3D 영상을 느낄 수 있는 것이다.
이러한 3D 영상을 획득하기 위하여, 두 개의 광학 렌즈 시스템을 이용하여 하나의 오브젝트에 대한 좌안 영상과 우안 영상을 획득할 수 있는 3D 카메라를 이용할 수 있다.
특히, 상술한 바와 같이, 3D 영상에 있어서, 획득된 좌안 영상과 우안 영상 사이의 거리가 매우 중요하다. 좌안 영상과 우안 영상 간의 거리가 매우 멀면, 3D 사진 또는 3D 동영상의 입체감이 매우 높아 사용자는 어지러움을 느끼게 된다.
또한 좌안 영상과 우안 영상 간의 거리가 매우 짧으면, 3D 사진 또는 3D 동영상의 입체감이 매우 낮아 사용자는 입체감이 있는 영상을 시청하는데 어려움을 느낄 수 있다.
본 발명의 일실시예에 따르면, 3차원 촬상 장치를 이용해 수집된 3D 영상에서 상기 3D 영상의 입체감을 개선하고 상기 3D 영상의 시청 피로를 저감하는 방법 및 장치가 제공된다.
본 발명의 일실시예에 따른 3 차원 촬상 장치의 제어 방법은, 좌안 렌즈를 통하여 입사된 좌안 영상의 특징점 및 우안 렌즈를 통하여 입사된 우안 영상의 특징점을 획득하는 단계; 상기 좌안 영상의 특징점 및 상기 우안 영상의 특징점을 비교하여 상기 좌안 영상과 상기 우안 영상 사이의 시차(disparity)를 검출하는 단계; 상기 좌안 영상과 상기 우안 영상 사이의 시차가 미리 설정된 기준 시차가 되도록 상기 좌안 렌즈 및 상기 우안 렌즈 사이의 거리를 제어하는 단계; 및 상기 좌안 영상 및 상기 우안 영상 내에 있는 특정 오브젝트에 폭주점(convergence point)이 위치하도록 상기 좌안 영상과 상기 우안 영상 중 적어도 하나를 시프트하는 단계를 포함한다.
예시적 실시예의 일측에 따르면 상기 좌안 영상과 상기 우안 영상 중 적어도 하나를 시프트하는 단계는 상기 특정 오브젝트는 오토포커스(AF, Auto-Focus) 영역에 존재하고, 상기 특정 오브젝트에 대한 상기 좌안 영상에 존재하는 특징점과 상기 우안 영상에 존재하는 특징점 사이의 시차가 최소가 되도록 상기 좌안 영상과 상기 우안 영상 중 적어도 하나를 시프트하는 단계를 포함할 수 있다.
예시적 실시예의 일측에 따르면 상기 좌안 렌즈 및 상기 우안 렌즈 사이의 거리를 제어하는 단계는 광축과 실질적으로(substantially) 수직 방향으로 상기 좌안 렌즈 및 상기 우안 렌즈 중 적어도 하나를 이동(moving)하는 단계를 포함할 수 있다.
예시적 실시예의 일측에 따르면 상기 좌안 렌즈 및 상기 우안 렌즈 중 적어도 하나를 이동(moving)하는 단계는 이미 설정된 최대 시간 이내에서 상기 좌안 렌즈 및 상기 우안 렌즈 중 적어도 하나를 이동(moving)하는 단계를 포함할 수 있다.
예시적 실시예의 일측에 따르면 상기 특정 오브젝트의 시차가 최소가 되는 경우, 다른 적어도 하나의 오브젝트는 음(negative)의 시차를 갖고, 또 다른 적어도 하나의 오브젝트는 양(positive)의 시차를 갖는 특징을 포함할 수 있다.
예시적 실시예의 일측에 따르면 상기 좌안 렌즈 및 상기 우안 렌즈를 기준으로 상기 다른 적어도 하나의 오브젝트는 상기 특정 오브젝트의 앞에 위치하고 상기 또 다른 적어도 하나의 오브젝트는 상기 특정 오브젝트의 뒤에 위치하거나, 또는 상기 다른 적어도 하나의 오브젝트는 상기 특정 오브젝트의 뒤에 위치하고 상기 또 다른 적어도 하나의 오브젝트는 상기 오브젝트의 앞에 위치할 수 있다.
예시적 실시예의 일측에 따르면 상기 좌안 렌즈 및 상기 우안 렌즈 사이의 거리를 제어하는 단계는 상기 좌안 영상과 상기 우안 영상 사이의 시차가 미리 설정된 기준 시차가 되도록 상기 좌안 영상과 상기 우안 영상 사이의 시차와 미리 설정된 기준 시차를 비교하는 단계를 포함하고,
상기 미리 설정된 기준 시차 dref는 하기 수학식
max{(dmax - dconv), (dconv - dmin)} ≒ dref
(dmax는 상기 시차 중 최대시차이고, dmin는 상기 시차 중 최소시차이고, dconv는 상기 특정 오브젝트의 시차임.)
를 통해 정의될 수 있다.
예시적 실시예의 일측에 따르면 상기 좌안 영상과 상기 우안 영상 사이의 시차(disparity)를 검출하는 단계는 상기 좌안 영상과 상기 우안 영상 사이의 복수의 시차들에 대한 누적 히스토그램을 이용하여 상기 좌안 영상과 상기 우안 영상 사이의 시차(disparity)를 검출하는 단계를 포함할 수 있다.
예시적 실시예의 일측에 따르면 상기 미리 설정된 기준 시차(dref)는 30분 이상과 40분 미만의 사이의 값이고, 상기 미리 설정된 기준 시차는 화면의 평면상에 렌즈가 포커싱된 경우의 폭주각(convergence angle)과 평면상에 렌즈가 디포커싱된 경우의 폭주각(convergence angle)의 차이이고, 상기 폭주각은 상기 좌안 렌즈와 상기 우안 렌즈가 상기 오브젝트에 포커싱된 경우 상기 렌즈들 사이각을 나타낼 수 있다.
예시적 실시예의 일측에 따르면 상기 좌안 영상과 상기 우안 영상 사이의 시차(disparity)를 검출하는 단계는 상기 좌안 영상 또는 상기 우안 영상의 조도에 따라 이전 좌안 영상 또는 이전 우안 영상의 프레임 수를 결정하는 단계; 및 상기 이전 좌안 영상의 프레임 또는 상기 이전 우안 영상의 프레임을 이용하여 상기 좌안 영상과 상기 우안 영상 사이의 시차(disparity)의 일관성을 판단하는 단계를 포함할 수 있다.
예시적 실시예의 일측에 따르면 이전 좌안 영상 또는 이전 우안 영상의 프레임 수를 결정하는 단계는 상기 조도가 높을수록 상기 이전 좌안 영상 또는 상기 이전 우안 영상의 프레임 수를 감소시키고, 상기 조도가 낮을수록 상기 이전 좌안 영상 또는 상기 이전 우안 영상의 프레임 수를 증가시키는 단계를 포함할 수 있다.
본 발명의 또 다른 일실시예에 따른 3 차원 촬상 장치는, 좌안 렌즈를 통하여 입사된 좌안 영상의 특징점 및 우안 렌즈를 통하여 입사된 우안 영상의 특징점을 획득하는 획득부; 상기 좌안 영상의 특징점 및 상기 우안 영상의 특징점을 비교하여 상기 좌안 영상과 상기 우안 영상 사이의 시차(disparity)를 검출하는 검출부; 상기 좌안 영상과 상기 우안 영상 사이의 시차가 미리 설정된 기준 시차가 되도록 상기 좌안 렌즈 및 상기 우안 렌즈 사이의 거리를 제어하고, 상기 좌안 영상 및 상기 우안 영상 내에 있는 특정 오브젝트에 폭주점(convergence point)이 위치하도록 상기 좌안 영상과 상기 우안 영상 중 적어도 하나를 시프트하는 제어부를 포함한다.
예시적 실시예의 일측에 따르면 상기 제어부는 상기 특정 오브젝트는 오토포커스(AF, Auto-Focus) 영역에 존재하고, 상기 특정 오브젝트에 대한 상기 좌안 영상에 존재하는 특징점과 상기 우안 영상에 존재하는 특징점 사이의 시차가 최소가 되도록 상기 좌안 영상과 상기 우안 영상 중 적어도 하나를 시프트하는 특징을 포함할 수 있다.
예시적 실시예의 일측에 따르면 상기 제어부는 광축과 실질적으로(substantially) 수직 방향으로 상기 좌안 렌즈 및 상기 우안 렌즈 중 적어도 하나를 이동(moving)할 수 있다.
예시적 실시예의 일측에 따르면 상기 제어부는 이미 설정된 최대 시간 이내에서 상기 좌안 렌즈 및 상기 우안 렌즈 중 적어도 하나를 이동(moving)할 수 있다.
예시적 실시예의 일측에 따르면 상기 제어부는 상기 좌안 영상과 상기 우안 영상 사이의 시차가 미리 설정된 기준 시차가 되도록 상기 좌안 영상과 상기 우안 영상 사이의 시차와 미리 설정된 기준 시차를 비교하고,
상기 미리 설정된 기준 시차 dref는 하기 수학식
max{(dmax - dconv), (dconv - dmin)} ≒ dref
(dmax는 상기 시차 중 최대시차이고, dmin는 상기 시차 중 최소시차이고, dconv는 상기 특정 오브젝트의 시차임.)
를 통해 정의될 수 있다.
예시적 실시예의 일측에 따르면 상기 미리 설정된 기준 시차(dref)는 30분 이상과 40분 미만의 사이의 값이고, 상기 미리 설정된 기준 시차는 화면의 평면상에 렌즈가 포커싱된 경우의 폭주각(convergence angle)과 화면의 평면상에 렌즈가 디포커싱된 경우의 폭주각(convergence angle)의 차이이고, 상기 폭주각은 상기 좌안 렌즈와 상기 우안 렌즈가 상기 오브젝트에 포커싱된 경우 상기 렌즈들 사이각을 나타낼 수 있다.
예시적 실시예의 일측에 따르면 시차에 의해서 눈의 피로감을 나타내는 지시가 존재하고, 상기 지시에 따라서 권고 멘트를 표시하는 디스플레이부를 더 포함할 수 있다.
본 발명의 또 다른 일실시예에 따르면, 상기의 방법들 중 적어도 하나를 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체가 제공된다.
좌안 렌즈와 우안 렌즈의 간격을 제어하고 폭주(convergence)를 이용하여 눈의 피로감이 적으면서도 입체감이 좋은 영상을 획득 할 수 있다.
또한, 오토포커스(Auto-Focus;AF), 또는 얼굴인식 등과 연계하여 특정 오브젝트에 폭주점(convergence point)를 맞추어 좀 더 자연스러운 입체감을 느낄 수 있는 기술이 제공 된다.
도 1은 본 발명의 일실시예에 따른 3차원 촬상 장치의 블록도이다.
도 2는 예시적 실시예에 따라, 3차원 촬상 장치의 좌안 렌즈와 우안 렌즈의 일례를 도시한 도면이다.
도 3은 예시적 실시예에 따라, 좌안 영상과 우안 영상의 특징점을 비교하는 도면이다.
도 4는 예시적 실시예에 따라, 좌안 영상과 우안 영상의 특징점을 비교하여 싱글스코어맵에 나타내는 도면이다.
도 5은 예시적 실시예에 따라, 대응점에 대한 평가를 도시한 도면이다.
도 6은 예시적 실시예에 따라, 3차원 촬상 장치로 촬영된 좌안 영상과 우안 영상의 일례를 도시한 도면이다.
도 7은 예시적 실시예에 따라, 도 6에서 촬영된 좌안 영상(610)과 우안 영상(620)을 서로 겹쳐 3차원 영상을 만든 일례를 도시한 도면이다.
도 8은 예시적 실시예에 따라, 도 6에서 촬영된 좌안 영상(610)과 우안 영상(620)에서 추출된 특징점을 서로 비교한 일례를 도시한 도면이다.
도 9는 예시적 실시예에 따라, 도 8에서 촬영된 좌안 영상(810)과 우안 영상(820)에서 추출된 특징점들의 시차를 히스토그램으로 나타낸 그래프이다.
도 10은 예시적 실시예에 따라, 도 9에서 촬영된 좌안 영상(810)과 우안 영상(820)에서 추출된 특징점들의 시차를 나타낸 그래프이다.
이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명에 따른 실시예를 상세하게 설명한다. 다만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다.
도 1은 본 발명의 일 실시 예에 따른, 3차원 촬상 장치(100)의 블록도이다.
도 1에 도시된 바와 같이, 3차원 촬상 장치(100)는 좌안 렌즈부(120), 우안 렌즈부(130), 처리부(140), 저장부(150), 디스플레이부(160), 및 액츄에이터부(170)를 포함한다.
좌안 렌즈부(120)는 여러 개의 렌즈들로 형성되어 있으며, 좌안 영상을 획득하기 위해 사용될 수 있을 뿐만 아니라, 줌렌즈의 역할도 병행할 수 있다. 좌안 렌즈부(120)는 좌안 렌즈를 포함하고 있으며, 상기 좌안 렌즈로 입사된 빛은 센서(미도시)를 거쳐 처리부(140)에서 처리되어 오브젝트에 대한 영상을 생성될 수 있다. 상기 생성된 영상을 좌안 영상이라 한다.
우안 렌즈부(130)는 여러 개의 렌즈로 형성되어 있으며, 우안 영상을 획득하기 위해 사용될 수 있을 뿐만 아니라 줌렌즈 역할도 병행할 수 있다. 우안 렌즈부(130)는 우안 렌즈를 포함하고 있으며, 상기 우안 렌즈로 입사된 빛은 센서(미도시)를 거쳐 처리부(140)에서 처리되어 오브젝트에 대한 영상을 생성될 수 있다. 상기 생성된 영상을 우안 영상이라 한다.
좌안 렌즈부(120)와 우안 렌즈부(130) 중 적어도 하나는 이동되어 좌안 렌즈부(120)과 우안 렌즈부(130) 사이의 간격을 멀어지게 또는 가까워지게 할 수 있다. 즉, 좌안 렌즈부(120)와 우안 렌즈부(130) 중 적어도 하나는 광축에 대해서 서로 수직한 방향으로 이동할 수 있고, 그에 따라 좌안 렌즈부(120)과 우안 렌즈부(130) 사이의 간격이 넓어지거나 좁아질 수 있다.
상기 광축에 대해서 서로 수직이라 함은 절대적인 수직일 뿐만 아니라, 실질적인 수직을 의미한다. 예를 들어, ±0도~±5도 정도의 기울어진 상태로 좌안 렌즈부(120) 또는 우안 렌즈부(130)이 이동하는 것은 실질적인 수직 방향으로 이동하는 것으로 간주될 수 있다.
좌안 렌즈부(120)는 좌안 렌즈를 포함하고, 우안 렌즈부(130)는 우안 렌즈를 포함한다고 하였으나, 반대로 좌안 렌즈부(120)는 우안 렌즈를 포함할 수 있고, 우안 렌즈부(130)는 좌안 렌즈를 포함할 수 있다. 이러한 경우에도, 본 발명의 실시예들이 그대로 적용될 수 있다.
처리부(140)는 획득부(141), 검출부(142), 및 제어부(143)을 포함할 수 있다.
획득부(141)는 상기 좌안 렌즈를 통하여 입사된 좌안 영상의 특징점(feature point) 및 상기 우안 렌즈를 통하여 입사된 우안 영상의 특징점을 획득할 수 있다.
상기 특징점은 상기 좌안 영상과 상기 우안 영상의 매칭 포인트를 검사하기 위한 상기 좌안 영상, 또는 상기 우안 영상에서 임의의 포인트를 나타낸다.
검출부(142)는 상기 좌안 영상의 특징점 및 상기 우안 영상의 특징점을 비교하여 상기 좌안 영상과 상기 우안 영상 사이의 시차(disparity)를 검출할 수 있다.
상기 시차는 상기 좌안 영상과 상기 우안 영상의 어긋난 정도를 나타내는 것이다.
제어부(143)는 상기 좌안 영상과 상기 우안 영상 사이의 시차가 미리 설정된 기준 시차가 되도록 상기 좌안 렌즈 및 상기 우안 렌즈 사이의 거리를 제어할 수 있고, 상기 좌안 영상 및 상기 우안 영상 내에 있는 특정 오브젝트에 폭주점(convergence point)이 위치하도록 상기 좌안 영상과 상기 우안 영상 중 적어도 하나를 시프트할 수 있다.
상기 폭주점은 상기 특정 오브젝트에 대한 상기 좌안 영상에 존재하는 특징점과 상기 우안 영상에 존재하는 특징점 사이의 시차가 최소가 되는 포인트이다.
저장부(150)는 상기 좌안 영상, 상기 우안영상, 상기 기준시차, 상기 특징점, 및 상기 폭주점 등을 저장할 수 있다.
디스플레이부(160)는 상기 좌안 영상과 상기 우안 영상을 표시할 수 있고, 그에 따라, 디스플레이부(160)에는 3차원 영상이 디스플레이될 수 있다.
디스플레이부(160)는 상기 좌안 영상 또는 상기 우안 영상 중 적어도 하나의 영상을 디스플레이할 수 있고, 그에 따라 디스플레이부(160)에는 2차원 영상이 디스플레이될 수 있다.
디스플레이부(160)에는 3차원 영상을 감상하는 사용자가 상기 시차에 의해서 눈의 피로감을 느끼는 정도를 나타내는 지시가 표시될 수 있다. 이 때, 상기 지시에 따라서 상기 시차를 조절할 지를 물어보는 권고 멘트가 디스플레이될 수 있다.
액츄에이터부(170)는 좌안 렌즈부(120), 또는 우안 렌즈부(130) 중 적어도 하나에 적용되며, 좌안 렌즈부(120), 또는 우안 렌즈부(130) 중 적어도 하나는 광축에 대해서 수직한 방향으로 이동하도록 제어될 수 있다.
도 1를 참조하면, 좌안 렌즈부(120)과 우안 렌즈부(130)는 렌즈와 센서로 구성되며, 좌안 렌즈부(120)과 우안 렌즈부(130)중 적어도 하나는 액츄에이터(170)에 의해 이동된다.
도 1은 본 발명의 하나의 실시예를 도시한 것이고, 본 발명의 실시예들은 도 1과 다른 구성에도 적용될 수 있다. 예를 들면, 상기 센서와 상기 렌즈가 분리된 카메라의 경우 상기 센서의 위치는 고정되어 있고 렌즈의 위치만이 이동하는 구성도 가능하다. 또한, 한 개의 센서로 두 개의 렌즈가 시-공간 상으로 분할하여 공유하는 경우도 가능하다.
액츄에이터(170)는 좌안 렌즈부(120), 또는 우안 렌즈부(130) 중 하나를 이동할 수도 있고, 좌안 렌즈부(120)과 우안 렌즈부(130) 모두 이동할 수도 있다.
상기 좌안 렌즈부(120), 또는 상기 우안 렌즈부(130)의 이동은 좌안 렌즈부(120), 또는 우안 렌즈부(130)가 광축에 평행한 경우뿐만 아니라, 광축에 평행하지 않은 경우에도 좌안 렌즈부(120), 또는 상기 우안 렌즈부(130)의 이동은 동일하게 적용될 수 있다.
좌안 렌즈부(120)과 우안 렌즈부(130) 중 적어도 하나는 가이드샤프트(guide shaft)를 따라서 이동될 수 있다. 상기 가이드샤프트가 광축에 거의 수직인 경우, 좌안 렌즈부(120)과 우안 렌즈부(130) 중 적어도 하나는 광축에 수직하게 이동되고, 가이드샤프트가 임의의 곡선 모양이면 좌안 렌즈부(120)과 우안 렌즈부(130) 중 적어도 하나는 임의의 곡선 방향으로 이동될 수 있다.
좌안 렌즈부(120)과 우안 렌즈부(130)로부터 출력된 영상은 처리부(140)에서 처리되고, 상기 처리된 영상에서 획득된 신호로 액츄에이터(170)를 제어할 수 있다.
액츄에이터(170)을 제어하여 획득된 영상은 디스플레이부(160)에서 출력되거나, 저장부(150)에 저장될 수 있다.
도 2을 참조하여, 3차원 촬상 장치(100)를 이용하여 영상을 획득하고 처리하는 내용에 대해서 알아 본다.
도 2를 도시된 봐와 같이, 좌안 렌즈(201)와 좌안 센서(202)로 구성된 좌안 렌즈부(120)와 우안 렌즈(203)와 우안 센서(204)로 구성된 우안 렌즈부(130)는 서로 일정한 거리로 떨어져 있다.
상기 좌안 렌즈부(120)과 우안 렌즈부(130) 사이의 거리는 카메라 간격(inter camera distance; ICD, 또는 baseline, 240)이라 한다.
좌안 센서(202)는 좌안 렌즈(201)을 통하여 입사되는 좌안 영상을 수집하는 역할을 한다. 좌안 센서(202)에서 수집된 상기 좌안 영상은 처리부(140)에서 처리된다.
우안 센서(204)는 우안 렌즈(203)을 통하여 입사되는 우안 영상을 수집하는 역할을 한다. 우안 센서(204)에서 수집된 상기 우안 영상은 처리부(140)에서 처리된다.
실시간으로 상기 좌안 영상과 상기 우안 영상을 처리부(140)에 전달하고, 처리부(140)에서 처리된 좌안 영상과 우안 영상은 실시간으로 디스플레이 상에 나타난다
액츄에이터(170)는 좌안 렌즈부(120)의 이동을 제어할 수 있고, 또한 우안 렌즈부(130)의 이동을 제어할 수 있다. 좌안 렌즈부(120), 또는 우안 렌즈부(130)의 이동 중 또는 이동 이후 정지 후 3차원 촬상 장치(100)는 상기 좌안 영상과 상기 우안 영상을 촬영할 수 있다.
처리부(140)는 액츄에이터(170)를 제어하여 상기 카메라 간격을 조절하고, 상기 조절된 카메라 간격(240)을 통하여 피로감이 적고 입체감이 좋은 상기 좌안 영상과 상기 우안 영상을 수집할 수 있다.
정지 영상의 경우에는 조정된 카메라 간격(240)에서 촬영되고, 동영상의 경우에는 카메라 간격(240)이 고정될 수도 있고, 장면 변화에 따라 실시간으로 액츄에이터가 조정되어 카메라 간격(240)이 변할 수도 있다.
카메라 간격(240)의 정보는 디스플레이 상에 표시될 수 있다.
사용자는 3차원 촬상 장치(100)에서 상기 카메라 간격(240)을 자동, 또는 수동으로 조절할 수 있다.
처리부(140)는 상기 좌안 영상과 상기 우안 영상의 색깔, 자동노출(auto exposure, AE), 자동화이트발랜스(auto white balance, AWB), 또는 기하학적인 차이를 최소화하여 상기 좌안 영상과 상기 우안 영상으로 3차원 영상을 구현시 자연스러운 상기 3차원 영상을 구현할 수 있도록 처리할 수 있다.
처리부(140)는 상기 좌안 영상과 상기 우안 영상에서 최대시차, 최소시차, 특정 오브젝트의 시차, 또는 특징점을 계산할 수 있고, 이를 통하여 피로감이 적으면서도 입체감이 좋게 상기 3차원 영상을 처리 할 수 있다.
좌안 렌즈부(120)과 우안 렌즈부(130)를 갖는 3차원 촬상 장치(100)에서 렌즈의 차이, 센서의 차이가 존재하는 경우 영상이 일치하지 않을 수 있다. 한쪽의 영상을 기준으로 다른 쪽 영상을 신호 처리를 이용하여 일치시킬 필요가 있다.
좌안 렌즈부(120)과 우안 렌즈부(130) 각각에 포함된 렌즈의 차이, 또는 센서의 차이와 같은 기하학적 차이로 인해, 상기 좌안 영상과 상기 우안 영상 사이에서 특징점의 어긋남이 발생할 수 있다.
또한, 좌안 렌즈부(120)과 우안 렌즈부(130)의 줌 차이에 따라 상기 좌안 영상과 상기 우안 영상의 크기 차이도 발생할 수 있다.
상기 기하학적인 차이는 2차원 촬상 장치에서는 발생하기 어렵고 3차원 촬상 장치에서 많이 발생될 수 있다.
상기 기하학적인 차이가 작을 수록 영상의 피로감이 적고 입체감이 늘어날 수 있다. 처리부(140)는 상기 좌안 영상과 상기 우안 영상 사이의 시프트, 크롭(crop), 크기변환(resize), 또는 회전변환 (affine transformation) 등을 이용하여 상기 기하학적인 차이를 최소화할 수 있다.
　
　 3차원 촬상 장치(100)의 좌안 렌즈부(120)와 우안 렌즈부(130)는 사람의 눈의 역할과 비슷한 역할을 수행한다. 상기 사람의 좌안, 또는 우안에 각각 맺히는 상은 뇌에서 합성되어 3차 효과를 상기 사람은 인지할 수 있다. 이와 유사하게 3차원 촬상 장치(100)는 상기 사람의 좌안, 또는 상기 사람의 우안에 해당하는 좌안 렌즈부(120)와 우안 렌즈부(130)를 포함할 수 있으며, 좌안 렌즈부(120)를 통하여 좌안 영상을 수집할 수 있고, 또한 상기 우안 렌즈부(130)를 통하여 우안 영상을 수집할 수 있다.
상기 수집된 좌안 영상과 우안 영상은 디스플레이부(160)에서 다양한 방법으로 나타날 수 있다. 이런 원리는 상기 사람의 좌안에 해당하는 영상은 좌안에만 상기 사람의 우안에 해당하는 영상은 우안에만 보이게 하는데에 적용될 수 있다. 따라서, 상기 좌안 영상 및 상기 우안 영상은 사람의 뇌에서 합성되며, 상기 사람은 상기 합성된 좌안 영상과 우안 영상을 마치 실제의 3차원 영상을 보는 것과 유사한 입체감을 느낄 수 있다.
　 상기 좌안 영상과 상기 우안 영상으로부터 입체감을 느끼게 되는 원인 중의 하나는 시차(disparity, parallax) 때문이다.
시차란 좌안 렌즈부(120)와 우안 렌즈부9130)의 위치가 동일하지 않고 공간적으로 서로 분리되어, 시점(view-point)의 차이가 생기기 때문이다.
즉, 동일한 오브젝트가 상기 좌안 렌즈 센서(202)와 상기 우안 렌즈 센서(204)에 맺히는 상(image)들의 위치가 서로 차이가 발생한다. 일반적으로 먼 오브젝트는 시차가 작게, 가까운 오브젝트는 시차가 크게 발생한다. 처리부(140)는 이러한 시차 정보를 계산하여 피로감이 적으면서도 입체감이 좋은 3차원 영상을 처리 할 수 있다.
3차원 촬상 장치(100)는 좌안 렌즈(201)와 좌안 렌즈 센서(202), 또는 우안 렌즈(203)와 우안 렌즈 센서(204)로 구성될 수 있다.
3차원 촬상 장치(100)는 좌안 렌즈(201), 또는 우안 렌즈(203) 중 하나의 렌즈와 두개의 좌안 렌즈 센서(202)와 우안 렌즈 센서(204)로 공용될 수 있다.
3차원 촬상 장치(100)는 좌안 렌즈(201), 또는 우안 렌즈(203) 중 하나의 렌즈와 좌안 렌즈 센서(202), 또는 우안 렌즈 센서(204) 중 하나의 센서를 공용으로 구성될 수 도 있다.
　 상기 시차와 함께 입체감에 중요한 요소의 다른 하나는 폭주(convergence) 이다.
상기 폭주는 3차원 영상 내에 있는 오브젝트에 좌안 렌즈(202)와 우안 렌즈(203)가 포커싱되는 것이다.
상기 오브젝트에 폭주가 맞춰지면 상기 오브젝트의 포인트가 폭주점이 되고, 좌안 렌즈(202)와 우안 렌즈(203) 사이의 이루는 각이 폭주각이 된다.
폭주점(convergence point)은 상기 시차가 최소가 되는 지점을 말하는 것으로, 3차원 촬상 장치(100)로 3차원 영상을 볼 때에 좌안 렌즈(201)과 우안 렌즈(203)가 포커싱되는 오브젝트의 위치가 상기 폭주점이 된다.
폭주각(convergence angle)은 상기 좌안 렌즈와 상기 우안 렌즈의 사이가 이루고 있는 각도이다. 일반적으로 먼 오브젝트에서 상기 각도는 작고, 가까운 오브젝트에서 상기 각도는 크다.
처리부(160)는 상기 각도 정보를 계산하여 오브젝트의 거리를 처리하고, 이를 통하여 상기 오브젝트의 입체감을 계산할 수 있다.
오브젝트의 좌안 영상과 우안 영상의 시차값이 최소가 될수록 상기 오브젝트의 3차원 영상은 피로감이 줄고 입체감이 좋아질 수 있다. 상기 오브젝트가 폭주점이 되는 경우 상기 오브젝트의 시차값이 0이 되고, 상기 오브젝트가 디스플레이되는 위치는 디스플레이 상에 온다.
도 2는 예시적 실시예에 따라, 3차원 촬상 장치의 좌안 렌즈와 우안 렌즈의 일례를 도시한 도면이다.
도 2를 참조하여, 상기 시차 및 상기 폭주의 원리에 대해서 설명한다.
　 좌안 영상과 우안 영상을 합성하여 입체감을 생기기 위해서는 상기 좌안 영상과 상기 우안 영상 사이의 시차가 일정 한계값을 넘지 않아 합성 가능한 범위 안에 들어와야 한다. 상기 시차가 너무 크면 3차원 영상은 여러 영상이 겹쳐 보여 사용자가 어지러움이 느낄 수 있고, 상기 시차가 너무 작으면 상기 3차원 영상은 입체감이 줄어들 수 있다.
상기 3차원 영상을 최적의 입체감이 생기도록 하기 위해서는 상기 시차가 너무 작지도 않고 너무 크지도 않은 적당한 값을 유지할 것을 요구할 수 있다.
도 2를 도시된 봐와 같이, 오브젝트 A(211), 오브젝트 B(212), 오브젝트 C(213)는 렌즈면(220)으로부터 각각 PA, PB, PC의 거리만큼 떨어져 있고, 좌안 렌즈(201)와 우안 렌즈(201)의 초점 거리는 f로 동일하다.
오브젝트 A(211)의 시차 dA, 오브젝트 B(212)는 시차 dB, 오브젝트 C(213)의 시차 dC는 수식(1)과 같다.
수식(1)
　 dA = hA + h'A = f·ICD/PA
dB = hB + h'B = f·ICD/PB
dC = hC + h'C = f·ICD/PC
여기서, hA는 오브젝트 A(211)의 상이 좌안 렌즈(201)의 중심을 통과하여 좌안 센서(202)에 맺힐 때 좌안 렌즈(201)의 중심을 지나는 광축으로부터 좌축으로 떨어진 거리이다.
h'A는 오브젝트 A(211)의 상이 우안 렌즈(203)의 중심을 통과하여 우안 센서(204)에 맺힐 때 우안 렌즈(203)의 중심을 지나는 광축으로부터 우축으로 떨어진 거리이다.
hB는 오브젝트 B(212)의 상이 좌안 렌즈(201)의 중심을 통과하여 좌안 센서(202)에 맺힐 때 좌안 렌즈(201)의 중심을 지나는 광축으로부터 좌축으로 떨어진 거리이다.
h'B는 오브젝트 B(212)의 상이 우안 렌즈(203)의 중심을 통과하여 우안 센서(204)에 맺힐 때 우안 렌즈(203)의 중심을 지나는 광축으로부터 우축으로 떨어진 거리이다.
hC는 오브젝트 C(213)의 상이 좌안 렌즈(201)의 중심을 통과하여 좌안 센서(202)에 맺힐 때 좌안 렌즈(201)의 중심을 지나는 광축으로부터 좌축으로 떨어진 거리이다.
h'C는 오브젝트 C(213)의 상이 우안 렌즈(203)의 중심을 통과하여 좌안 렌즈 센서(204)에 맺힐 때 좌안 렌즈(203)의 중심을 지나는 광축으로부터 우축으로 떨어진 거리이다.
　 수식(1)로부터 오브젝트 C(213)의 거리 PC가 무한대에 근접하면 오브젝트 C(213)의 시차 dC는 0에 근접하여, 무한대에 존재하는 오브젝트의 시차는 0에 가까워짐을 알 수 있다.
반대로 오브젝트 C(211)의 거리 PC가 렌즈면(230)에 가까우면 시차가 커진다.
수식(1)로부터 시차는 카메라의 초점거리와 카메라 간격(240)에 비례하기 때문에 시차를 증가시키기 위해서는 카메라 간격(240)을 증가시켜야 하고 시차를 감소시키기 위해서는 카메라 간격(240)을 감소시켜야 함을 알 수 있다.
사용자에게 주는 피로감을 줄일 수 있는 3차원 영상을 촬영하기 위해서는 시차 dA, 시차 dB, 시차 dC는 어느 한계값 이하가 되어야 한다.
상기 시차의 한계값은 사용자에 따라 개인적인 편차가 있다. 즉, 어느 정도 큰 시차에 대해서도 3차원 영상을 문제 없이 인식하는 사용자도 있고, 작은 시차에 대해서도 어지러움을 호소하는 사용자도 있어 사용자의 개인적인 주관에 크게 의존한다. 또한 동일한 시차를 갖도록 촬영된 좌안 영상과 우안 영상이라고 하더라도 디스플레이의 조건에 따라서 상기 시차의 한계값이 달라질 수 있다.
상기 시차의 한계값은 30분에서 40분 사이에서 정해질 수 있으며, 본 발명의 실시예에 따르면, 시차의 한계값은 35분으로 정해질 수 있다. 물론, 이러한 예시적인 시차의 한계값에 본 발명의 기술적 사상은 제한되지 않는다.
상기 35분은 좌안 렌즈(201)와 우안 렌즈(203)가 디스플레이 상에 폭주가 될 경우, 좌안 렌즈(201)와 우안 렌즈(203)가 이루는 사잇각을 나타낸다. 상기 35분을 각도로 표시하면 0.5833도(=35/60)이다.
16:9 Full HD 디스플레이에서 상기 디스플레이 상에서 사용자까지의 거리는 2m, 상기 디스플레이는 50인치, 가로의 너비는 1.107m, 상기 좌안 렌즈와 상기 우안 렌즈의 사이의 거리는 6.5cm 인경우, 상기 35분은 35픽셀이 된다.
상기 35 픽셀은 상기 디스플레이 상에서 좌안 영상과 우안 영상의 어긋나는 거리를 나타낸다.
3차원 촬상 장리(100)는 디스플레이의 크기를 고려하여 상기 시차의 한계값을 이미 설정된 초기값으로 정하거나, 또는 사용자가 임의로 상기 시차의 한계값을 조정할 수 있다.
　 상기 시차가 상기 한계값 근처에서 사용자가 3차원 영상에 대해서 피로를 느끼지 않는다면, 3차원 영상의 입체감을 최대로 확보할 수 있다.
따라서, 3차원 영상에 대한 피로감과 입체감을 고려하여 상기 시차의 한계값을 조정할 수 있다.
사용자가 3차원 영상을 볼 때 응시하는 오브젝트에 폭주(convergence)와 초점조절(accommodation)이 맞추어야 상기 3차원 영상이 입체감이 생기게 된다.
상기 폭주는 좌안 영상과 우안 영상 중 적어도 하나의 영상을 시프트하여 상기 오브젝트의 시차가 0에 가깝게 맞추는 것이다. 상기 오브젝트에 대한 시차가 0인 경우는 상기 오브젝트가 디스플레이 상에 위치하는 것이다.
상기 초점조절은 렌즈의 오토포커스(Auto-Focus;AF)을 이용하여 상기 오브젝트에 좌안 렌즈(201)과 우안 렌즈(203)의 초점을 맞추는 것이다.
처리부(140)는 3차원 영상을 촬영 시 또는 촬영 후 상기 3차원 영상의 중앙 부분, 얼굴인식을 이용한 인물 중심 부분, 오토포커스 영역에 존재하는 오브젝트, 또는 임의의 오브젝트 영상이 폭주점이 되도록 처리할 수 있다.
예를 들면, 영상에서 가장 먼 지점, 가장 가까운 지점, 또는 사용자가 입력한 지점이 폭주점이 되도록 좌안 영상과 우안 영상 중 적어도 하나의 영상을 시프트할 수 있다. 　
상기 좌안 영상과 상기 우안 영상 중 적어도 하나의 영상을 시프트하여 좌안 영상과 우안 영상 사이에 존재하는 시차가 0이 될 수 있고, 상기 시차가 0이 되는 위치를 폭주점(convergence point)이다.
도 2를 참조하면, 상기 폭주점을 오브젝트 B(242)에 맞춘 경우, 오브젝트 A(241)는 음의 시차값 d'A을 가지게 되고 오브젝트 C(243)는 양의 시차값 d'C 를 갖게 된다.
폭주를 조정하기 전의 시차값 dA, dB, dC와 폭주를 조정한 시차값 d'A, d'B, d'C는 서로 다른 시차값이 되어 입체감의 변화가 생길 수 있다.
상기 폭주의 조정을 통하여 상기 d'A, d'B, d'C가 상기 시차의 한계값 이하가 되도록 할 수 있다. 상기 d'A, d'B, d'C는 입체감 및 피로감을 고려하여 시차의 한계값에 가깝게 조절되어야 한다.
오브젝트 B(242)에 폭주점을 맞추면 수식(1)은 수식(2)로 나타날 수 있다.
수식 (2)
d'A = dA - dB = f·ICD·(1/PA -1/PB) < 0
d'B = 0
d'C = dC - dB = f·ICD·(1/PC - 1/PB) < 0
수식 (2)로부터 폭주점을 오브젝트 B(242)에 맞추면 오브젝트 A(241)는 음의 시차값을 갖고 오브젝트 C(243)는 양의 시차값을 갖는다.
폭주점이 조정되면 0의 시차의 오브젝트, 음의 시차의 오브젝트와 양의 시차의 오브젝트가 존재하여, 3차원 영상은 입체감이 증가될 수 있다.
　 이외에도 피로감에 영향을 미치는 요인은 디스플레이의 크기, 디스플레이로부터 사용자까지의 거리, 카메라 간격(240), 상기 좌안 영상과 상기 우안 영상의 색감 차이, 상기 좌안 영상과 상기 우안 영상의 밝기 차이, 상기 좌안 영상과 상기 우안 영상의 초점위치, 기하학적인 영상의 크기, 좌안 렌즈부(120)와 우안 렌즈부(130)의 특징점의 어긋남, 상기 좌안 영상과 상기 우안 영상의 특징점의 시프트, 및 왜곡 등이 있다.
이 중에서 상기 좌우 영상과 상기 우안 영상과의 수직 불일치, 즉 동일한 오브젝트에 대해서 수직 방향으로 불일치가 생기는 경우 피로감에 더 많은 영향을 미칠 수 있다.
입체감을 조정하기 위한 시차값은 좌안 렌즈(201)와 우안 렌즈(202)의 초점거리(f), 카메라 간격(240), 렌즈면(230)에서 오브젝트까지의 거리(PA, PB, PC)을 이용하여 얻을 수 있다.
좌안 영상과 우안 영상 사이의 시차값 추정에 있어서 중요한 기술은 상기 좌안 영상과 상기 우안 영상 사이의 최소 및 최대 시차값을 계산하는 것이다.
상기 좌안 영상과 상기 우안 영상을 서로 겹칠 경우, 상기 좌안 영상과 상기 우안 영상 전반에 걸쳐 많은 수의 화소에 대해서 정확한 정합 결과가 얻어져야 한다.
상기 시차값 계산을 위해 모든 좌안 영상과 우안 영상의 화소에 대해 정합을 수행할 경우 수행 시간이 길어지고, 정확한 좌안 영상과 우안 영상 간의 정렬을 필요로 하는데 이는 실제 시스템 구성에서 어려운 문제이다.
3차원 영상의 실시간 동작을 위해서는 상기 정합에 유리한 소수의 화소들을 추출하고 이를 이용해 시차값을 추정하는 기술이 필요하다.
어떠한 화소들을 정합에 이용할 것인지(특징점 추출), 그리고 추출된 화소들을 어떻게 정확하게 정합할 것인지(특징점 정합), 그리고 정합 결과로부터 어떻게 범위를 결정할 것인지(시차값 결정)가 매우 중요하다.
처리부(140)는 입력된 좌안 영상과 우안 영상에서 정합에 유리한 좌안 영상과 우안 영상의 특징점을 빠른 속도로 검출하고, 상기 추출된 좌안 영상과 우안 영상의 특징점을 정확하게 정합하고, 상기 정합된 결과를 이용하여 신뢰할 수 있는 상기 시차값을 계산할 수 있다.
　
좌안 영상과 우안 영상에서 특징점을 추출하는 기술은 다음과 같다.
　 실시간으로 계신된 시차값으로부터 좌안 렌즈부(120)와 우안 렌즈부(130) 사이의 간격인 카메라 간격(240)을 조절되며, 최적의 카메라 간격(240)에서 좌안 영상과 우안 영상의 각 특징점을 계산한다.
상기 좌안 영상과 상기 우안 영상으로부터 x, y축의 그레디언트(gradient)를 계산하고, 이에 기반한 반응 함수의 값을 이용하여 상기 특징점을 추출한다. 상기 그레디언트를 이용하면, 상기 좌안 영상과 상기 우안 영상 간에는 상기 특징점의 스케일이나 크기 변화가 존재하기는 하지만 그 차이가 작기 때문에 빠른 상기 특징점 추출을 할 수 있다.
상기 특징점의 크기는 여러 특징점 중 문턱값 이상의 점을 대상으로 상기 x축의 변화 dx와 상기 y축의 변화 dy의 절대값이 최대(peak)가 되는 점을 특징점으로 계산하여 오차를 최소화 할 수 있다.
상기 특징점의 정합 처리를 위해서 전체적인 좌안 영상과 우안 영상에서 코너(corner), 예를 들면, 인간의 옷과 같은 명함이 크게 변화하지 않는 특징 보다는 건물의 모서리와 같이 명함이 크게 변화하는 특징을 검출하는 코너를 이용할 수 있다.
처리부(140)에 입사되는 좌안 영상과 우안 영상은 풀화상(video graphic array, VGA)이나 상기 풀화상은 처리부(140)에서 상기 풀화상보다 1/4배 작은 화상(quarter video graphic array, QVGA)으로 변환한다. 상기 1/4배 작은　화상 내에서 8 x 24 화소의 블록 사이즈(block size)을 이용하여 특징점을 검출할 수 있다. 상기 8 x 24 화소의 가로와 세로의 비율이 다른 이유는 대응점 탐색 범위는 주로 가로 방향이어서 정밀할 필요가 있기 때문이다.
가로 및 세로가 큰 블록 사이즈(block size)를 이용할 경우, 특징점 정합이 열화될 수 있다.
가로 및 세로가 작은 블록 사이즈(block size)를 이용할 경우, 대응점 군은 변화하지만 최종적인 출력인 최대시차 및 최소시차 등은 크게 변화하지 않을 수 있다.
　 상기 1/4배 작은　화상을 이용하면, 계산에 소요되는 시간을 단축할 수 있으며, 또한 계산에 필요한 저장부(150)(예를 들어, 메모리)의 저장 용량을 줄일 수 있다.　
　 도 3은 예시적 실시예에 따라, 좌안 영상과 우안 영상의 특징점을 비교하는 도면이다.
도 3을 참조하면, 좌안 영상(310)의 좌안 특징점(311)은 우안 영상(320)에서 우안 특징범위(321)와 비교한다.
즉, 좌안 영상의 블록(block, 312)　내의 특징점에 대해서 우안 영상과 대응점을 탐색할 때, 우안 영상의 탐색 범위는 좌안 특징점(311)과 대응되는 우안 영상(320)의 특징점이 포함된 한 줄과 상기 한 줄과 인접한 위 아래의 두 줄을 포함한다.
좌안 특징점(311)과 우안 특징범위(321)의 비교를 재확인하기 위해서 우안 특징범위(321)의 세 줄은 각각 좌안 영상(310)의 세 줄과 비교된다.
우안 특징범위(321)의 상기 세 줄은 좌안 특징점(311)과 비교 시 상기 세 줄과 매칭되는 한 줄과 상기 한 줄과 인접한 위 아래의 두 줄이 비교 대상이 되어 총 아홉 줄과 비교된다.
도 4는 예시적 실시예에 따라, 좌안 영상(410)과 우안 영상(420)의 특징점을 비교하여 싱글스코어맵(single score map)(430)에 나타내는 도면이다.
도 4를 참조하면, 좌안 영상과 우안 영상의 가로 방향의 블록(411,421)수를 콜스(cols)(412) 로 하면, 싱글스코어맵(430)(은 좌우의 높이의 조합 (예: 「row_l 과 row_r」이나 「row_l 과 row_r+1」등)에 콜스(412) x 콜스(422)의 사이즈가 되지만, 실제로는 좌안 렌즈부(120)과 우안 렌즈부(130)은 평행하여 콜스(412) x 콜스(422) 모두를 이용하지 않는다. 대체로 콜스(412) x 콜스(422)의 30%정도는 사용하지 않을 수 있다.
상기 싱글스코어맵(430)을 이용하여 계산에 필요한 저장부(150)의 사용량을 줄이고, 또한 불필요한 계산 루프(loop)를 감소시켜 상기 특징점 정합을 빠르게 진행할 수 있다. 　
　　
블록(411,421) 사이즈(block size)을 변경하면 코너의 수와 밀도가 변화하지만, 코너(corner)의 밀도는 싱글스코어맵(430)의　처리에 대해서 2배 정도 영향을 줄 수 있다.
예를 들면, 블록(411,421) 사이즈(block size)를 가로 방향으로 2배로 하면, 콜스(412,421)가 1/2가 되어 저장부(150)의 사용량과 계산량에 따른 시간은 1/4이 될 수 있다.
좌안 영상과 우안 영상의 블록(411,421) 사이즈(block size)을 조정하여 계산량에 따른 시간이나 계산에 필요한 저장부(150)의 사용량을 조정할 수 있다.
추출된 특징점의 정합 기술은 다음과 같이 묘사될 수 있다.
　 좌안 영상과 우안 영상의 특징점이 추출된 이후에 상기 좌안 영상과 상기 우안 영상의 특징점 사이에 대응점 관계를 계산한다. 이를 위해 상기 좌안 영상과 상기 우안 영상의 특징점이 포함되는 일정 크기의 영역에서 상기 영역 안에 존재하는 상기 좌안 영상과 상기 우안 영상의 특징점들을 서로 비교한다. 상기 추출된 특징점을 기초로 상기 좌안 영상과 상기 우안 영상 사이의 어긋남 등을 보정할 수 있다.
상기 정합 방법은 다양한 방법이 있으나, 적은 메모리 사용과 빠른 계산을 위하여 간단한 방법을 선택할 수 있다. 간단한 방법으로는 SAD (Sum of Absolute Difference), SSD (Sum of Squared Difference), ZNCC (Zero Normalized Cross Correlation) 등이 있다.
본 발명의 일실시예에서는 SSD를 이용하였다.
상기 SSD는 정합 방법 중 하나로써 좌안 영상과 우안 영상의 특징점의 매칭 정확도를 나타내며, 상기 좌안 영상과 상기 우안 영상의 특징점이 포함한 상기 일정 크기의 영역 안에 있는 특징점들에 대한 차의 제곱의 합으로 정의된다.
또한, 정합 후에 보정 후(post-processing) 단계를 적용하였다.
보정 후(post-processing) 단계에서는 잘못된 정합을 제거하기 위해 일관성 검사, 단일 최적점 검사, 그리고 추정된 시차의 연속성 검사 등을 시행하여 특징점 정합 정확도를 높일 수 있다.
상기 일관성 검사는 상기 좌안 영상에서 추출된 특징점과 상기 우안 영상에서 추출된 특징점 사이에 일대일(1-to-1) 대응이 성립하지 않는 정합 결과를 제거하는 것이다.
상기 단일 최적점 검사는 한 대응점을 기준으로 유사한 대응점이 다수 존재할 경우 애매한 정합 결과를 제거하는 것이다.
상기 시차의 연속성 검사는 주변에 존재하는 특징점들의 시차값이 유사하다는 가정을 기반으로 하여 정합 오류를 제거하는 것이다.
　
　 상기 시차값 추정하는 기술은 다음과 같이 묘사될 수 있다.
　 상기 특징점 정합을 통해 좌안 영상과 우안 영상의 특징점들이 갖는 시차값들을 계산할 수 있다. 상기 시차값들과 상기 좌안 영상과 우안 영상의 특징점 정합 과정에서 얻어진 대응점들의 신뢰도를 바탕으로 하여 신뢰도- 시차값 사이의 누적 히스토그램을 생성한 후에 이를 이용하여 최소 시차값 및 최대 시차값을 계산할 수 있다.
상기 대응점들의 신뢰도는 정합 비용 함수의 값을 기준으로 정의된다.
상기 누적 히스토그램을 생성한 후에 상기 누적 히스토그램의 값을 0과 1사이로 정규화하고, 상기 누적 히스토그램의 0.02 이하에 해당하는 시차값과 0.98 이상에 해당하는 시차값을 제외하고 나머지 값을 이용하여 상기 최소 시차값 및 최대 시차값을 계산할 수 있다. 상기 누적 히스토리그램에서 제외되는 상기 0.02 이하와 상기 0.98 이상은 시차 정도에 따라서 변경될 수 있다.
　
　 자동조정영역의 시차값을 추정하는 기술은 다음과 같이 묘사될 수 있다.
자동조정영역에 있는 좌안 영상과 우안 영상의 특징점들 사이에 존재하는 시차값들 있다. 상기 시차값들의 평균값, 또는 중간 값 중 어느 하나를 상기 자동조정영역의 시차값한다.
자동조정영역에 있는 특징점들의 수가 일정 수 이하이면 상기 변위 값을 계산하지 않을 수 있다.
도 5은 예시적 실시예에 따라, 대응점에 대한 평가를 도시한 도면이다.
　 상기 대응점에 대한 평가 방법은 다음과 같다.
좌안 영상(510)과 우안 영상(520)의 대응점을 찾기 위해서 마스크(mask;511, 521)를 사용한다. 마스크(511,521)는 좌안 영상(510)과 우안 영상(520)에 임의의 영역을 선정되며, 상기 대응점에 대한 평가 방법은 마스크(511,521) 영역 안에 있는 좌안 영상의 특징점과 우안 영상의 특징점을 서로 비교하는 것이다.
좌안 영상(510)과 우안 영상(520)에서 상대적으로 멀리 존재하는 오브젝트에 적용되는 마스크 사이즈는 작게 할 수 있고(511, 521), 상대적으로 가까이 존재하는 오브젝트에 적용되는 마스크 사이즈는 크게 할 수 있다(512, 522).
상기 멀리 존재하는 오브젝트에 큰 사이즈의 마스크(511,521)를 적용할 경우, 상기 멀리 존재하는 오브젝트의 사이즈가 작아 좌안 영상(510)과 우안 영상(520)에 존재하는 특징점을 서로 비교하는 횟수가 증가될 수 있다.
상기 가까이 존재하는 오브젝트에 작은 사이즈의 마스크(512,521)를 적용할 경우, 상기 가까이 존재하는 오브젝트의 사이즈가 커서 마스크(512,521)를 벗어나 좌안 영상(510)과 우안 영상(520)에 존재하는 특징점을 서로 비교할 때에 오류가 생길 수 있다.
수식 (3)으로부터 좌안 영상(510)과 우안 영상(520)에서 최대시차 dmax, 최소시차 dmin, 폭주점을 맞출 지점에 존재하는 특정 오브젝트의 시차 dconv으로부터 시차 dd가 계산될 수 있다.
이미 결정된 시차 dref는 좌안 영상(510)과 우안 영상(520)을 서로 겹쳐 3차원 영상으로 나타낼 때 피로감이 적고 입체감이 좋은 시차를 나타낸다.
수식 (3)에서 상기 시차 dd가 계산되면 수식 (4)에서 좌안 렌즈부(120)과 우안 렌즈부(130)의 사이의 거리인 목표카메라간격(ICDtarget)이 결정될 수 있다.
수식 (3)
max{(dmax - dconv), (dconv - dmin)} = dd
수식 (4)
ICDtarget = ICDcurrent × dref/dd
여기서, 현재카메라간격(ICDcurrent)은 좌안 렌즈부(120)과 우안 렌즈부(130) 사이의 거리가 목표카메라간격으로 조정되기 전 거리를 나타낸다.
수식 (3)에서 계산된 시차(dd)는 이미 결정된 시차(dref)와 유사하게 맞추도록 카메라 간격(240)를 조절할 수 있다.
실시간으로 입력되는 좌안 영상(510)과 우안 영상(520)을 처리하는 처리부(140)는 거의 실시간으로 최적의 목표카메라간격(ICDtarget) 값을 만족시키기 위해 액츄에이터(170)를 실시간으로 조절한다.
일반적으로 처리부(140)에는 노이즈가 존재하기 때문에 dmax, dmin, dconv, 누적 히스토그램 등 은 동일한 장면에 대해서도 다를 가능성이 있다. 상기 노이즈가 존재하는 경우에는 처리부(140)는 일정 시간 동안은 이미 계산된 dmax, dmin, dconv 값들을 이용할 수 있다.
예를 들면, 처리부(140)는 처리된 시차의 평균값, 최빈값, 또는 시간일관성(temporal consistency)을 이용하여 상기 이미 계산된 값 등을 이용할 수 있다.
상기 시간일관성은 목표카메라간격(ICDtarget)을 결정하기 위해 이전 몇 플레임(frame) 들의 상관관계를 이용하는 방법이다. 상기 이전 몇 플레임 동안 dd 값의 변동은 적은데 한두 플레임에서 크게 튀었다면 상기 한두 플레임은 실제 장면이 바뀌었다기 보다는 상기 노이즈의 영향을 받았을 가능성이 높다고 판단하여 목표카메라간격(ICDtarget)을 움직이지 않도록 할 수 있다.
상기 노이즈의 영향은 일반적으로 조도 (광량) 조건에 많이 의존한다. 상기 조도가 높은 낮, 또는 실외에서는 상기 노이즈의 영향이 적지만 상기 조도가 낮은 밤, 또는 실내에서는 상기 노이즈의 영향이 상대적으로 커져서 좌안 영상과 우안 영상에 에러가 포함될 가능성이 있다.
3차원 촬상 장치(100)로 획득한 조도 정보를 이용하여 상기 조도가 높을 때에는 작은 수의 이전 플레임을 이용하여 목표카메라간격(ICDtarget)을 계산하고, 상기 조도가 낮을때에는 많은 수의 이전 플레임을 이용하여 목표카메라간격(ICDtarget)을 계산할 수 있다.
많은 수의 플레임을 이용하는 것은 노이즈의 영향을 적게 할 수 있지만 연산 능력과 소모 전력은 늘어날 수 있으므로, 상기 조도가 높은 경우에는 적은 수의 플레임을 이용할 수 있다.
액츄에이터(170)를 계속 구동하면 전력소모가 늘어나기 때문에 액츄에이터(170)가 필요한 경우, 즉 사용자가 줌을 변경하였거나 또는 셔터를 누르는 등 좌안 영상(510)과 우안 영상(520)을 촬영할 의사를 3차원 촬상 장치(100)에 전달하는 경우만 액츄에이터(170)를 구동하여 전력 소모를 줄일 수 있다.
좌안 렌즈부(120)과 우안 렌즈부(130) 사이의 거리 조정은 빠른 시간 내에 이루어 져야 한다.
처리부(140)에서 시차를 계산하고 좌안 렌즈부(120)과 우안 렌즈부(130) 사이의 거리를 조절한 후 좌안 영상(510)과 우안 영상(520)을 촬영할 경우, 카메라 간격(240)의 조절 속도가 느리다면 좌안 영상(510)과 우안 영상(520)이 바뀔 가능성이 있기 때문이다.
좌안 렌즈부(120)과 우안 렌즈부(130) 사이의 거리인 카메라 간격(240)의 조절시간은 좌안 영상과 우안 영상의 겹합에 따른 3차원 영상을 수용하는 사용자에 따라 결정될 수 있다.
상기 조절시간은 이미 설정된 시간일 수 있고 사용자가 편의에 따라 설정할 수 있다. 실시간적으로 3차원 영상을 구현하기 위해서는 상기 이미 설정된 시간은 1초 이하가 될 수 있다.
도 6은 예시적 실시예에 따라, 3차원 촬상 장치(100)로 촬영된 좌안 영상과 우안 영상의 일례를 도시한 도면이다.
도 6을 참조하면, 좌안 렌즈부(120)과 우안 렌즈부(130) 사이의 거리인 카메라 간격(240)은 77mm인 3차원 촬상 장치(100)로 촬영한 좌안 영상(610)과 우안 영상(620)을 나타낸다.
좌안 영상(610)과 우안 영상(620)은 각각 해상도 VGA (640x480)로 촬영되었다.
도 7은 예시적 실시예에 따라, 도 6에서 촬영된 좌안 영상(610)과 우안 영상(620)을 서로 겹쳐 3차원 영상을 만든 일례를 도시한 도면이다.
도 7을 참조하면, 처리부(140)에서 좌안 영상(610)과 우안 영상(620)을 기하학적으로 조정 후에 좌안 영상(610)과 우안 영상(620)을 서로 겹쳐 3차원 영상을 만든 것이다.
도 8은 예시적 실시예에 따라, 도 6에서 촬영된 좌안 영상(810)과 우안 영상(820)에서 추출된 특징점을 서로 비교한 일례를 도시한 도면이다.
도 8을 참조하면, 처리부(140)에서 좌안 영상(810)과 우안 영상(820)의 최대 시차, 최소시차 및 오토포커스범위 내에 있는 특정 오브젝트의 시차를 계산하여 좌안 영상의 특징점(814)과 우안 영상(820)의 특징점(824)을 나타낸 것이다.
좌안 영상(810)에는 우안 영상(820)의 특징점과 매칭되는 특징점을 나타내고, 좌안 영상의 특징점(814)과 우안 영상의 특징점(824)의 차이인 시차를 직선으로 표시하였다.
각 직선의 길이가 좌안 영상의 특징점(814)과 우안 영상의 특징점(824)의 시차의 크기를 나타낸다.
좌안 영상(810)에서 표시된 직선을 보면 긴 직선이 있는데, 상기 긴 직선은 좌안 영상의 특징점(814)과 우안 영상의 특징점(824)을 잘못 매칭한 것이다.
상기 잘못된 특징점은 상기 히스토그램을 이용하여 제외 된 후 최대시차, 최소시차가 계산될 수 있다.
도 9는 예시적 실시예에 따라, 도 8에서 촬영된 좌안 영상(810)과 우안 영상(820)에서 추출된 특징점들의 시차를 히스토그램으로 나타낸 그래프이다.
도 9를 참조하면, 그래프(910)와 그래프(910)의 확대된 그래프(920)에서 시차가 약 10 픽셀 근방, 20 픽셀 근방, 및 38 픽셀 근방에서 피크(peak)가 존재한다. 상기 10 픽셀 근방은 도 8에서 배경(811), 상기 20 픽셀 근방은 중앙에 위치한 오브젝트(812), 및 상기 38 픽셀 근방은 왼쪽 아래에 위치한 오브젝트(813)의 시차에 해당한다.
도 9의 히스토그램에서 신뢰구간 0.98로 선택하면, 최소시차(dmin)는 6 픽셀이고 최대시차(dmax)는 41 픽셀 임을 알 수 있다.
도 9의 히스토그램으로부터 상기 최소시차는 6 픽셀과 상기 최대시차는 41 픽셀의 범위 외의 시차들은 잘못된 매칭으로 판단할 수 있다.
상기 특정 오브젝트의 시차는 자동조정영역 내에 있는 오브젝트가 될 수도 있고, 얼굴인식을 이용하면 인식된 인물일 수도 있다.
도 8에서 자동조정영역이 중앙부라면 오브젝트(812)가 특정 오브젝트가 되어, 상기 특정 오브젝트의 시차는 약 20 픽셀(=dconv)이 된다.
도 8에서 자동조정영역이 왼쪽 아래 부분이면 오브젝트(813)가 특정 오브젝트가 되어, 상기 특정 오브젝트의 시차는 약 38 픽셀이 된다.
예를 들면, 50인치 FullHD (1920x1080) 3D TV를 2미터 거리에서 시용자가 시청할 때 피로감의 한계값(또는 기준값)을 36 픽셀이라고 가정한다.
상기 36 픽셀이란 디스플레이 상의 오브젝트의 시차가 0이고 상기 오브젝트가 상기 디스플레이 상에서 시차 값 36 픽셀만큼 앞으로 튀어 나오거나, 또는 36 픽셀 만큼 뒤로 들어가는 범위까지는 상기 사용자가 시청하는 3차원 영상에 대해서 피로감 없이 좋은 입체감을 느낄 수 있는 범위인 것이다.
상기 3차원 영상의 경우 VGA 영상이므로 FullHD의 1/3인 12 픽셀(=dref)이다.
특정 오브젝트(812)에 폭주를 맞추면 최대시차(dmax)인 오브젝트(813)의 시차는 41-20=21 픽셀이 되고, 최소시차(dmin)인 배경의 시차는 20-6=14 픽셀이 된다.
상기 계산된 최대시차, 최소시차 및 특정 오브젝트 시차를 수식 (3), (4)에 대입하면 다음과 같다.
수식 (5)
max{(41-20),(20-6)}=21픽셀
ICDtarget=77*12/21=44 mm
수식 (5)로부터 좌안 렌즈부(120)과 우안 렌즈부(130) 사이의 거리는 44mm로 이동하면, 최대시차(21(=41-20))인 오브젝트(813)는 12 픽셀(21×44/77)이 되고, 특정 오브젝트(812) 시차(0(=20-20))는 0 픽셀(0×44/77)이 되고, 배경의 시차(-14(=6-20))는 -8 픽셀(-14×44/77)이 된다.
특정 오브젝트(812)는 디스플레이 상에 나타나고 오브젝트(813)은 상기 디스플레이 상의 앞으로 튀어 나오고 배경은 상기 디스플레이 상의 뒤로 들어가 좌안 영상과 우안 영상이 겹쳐진 3차원 영상은 피로감이 적고 입체감 좋은 영상이 될 수 있다.
도 10은 예시적 실시예에 따라, 도 9에서 촬영된 좌안 영상(810)과 우안 영상(820)에서 추출된 특징점들의 시차를 나타낸 그래프이다.
도 10을 참조하면, 좌안 영상(810)과 우안 영상(820)에 대해서 대응점 매칭 시 잘못된 계산, 또는 조도 조건이 좋지 않아 노이즈가 존재하는 경우를 나타내는 그래프(1100)이다.
그래프(1100)에서 이전 플레임을 이용하는 상기 시간 일정성을 적용하면 노이즈가 제거된 그래프(1200) 얻을 수 있다. 그래프(1200)으로부터 유효한 최대시차, 유효한 최소시차를 얻을 수 있어 좌안 렌즈부(120)과 우안 렌즈부(130) 사이의 거리가 효과적으로 조절될 수 있다.
본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수도 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100 : 3차원 촬상 장치 120 : 좌안 렌즈부
130 : 우안 렌즈부 140 : 처리부
141 : 획득부 142 : 검출부
143 : 제어부 150 : 저장부
160 : 디스플레이부 170 : 액츄에이터

Claims (19)

  1. 3 차원 촬상 장치의 제어 방법에 있어서,
    좌안 렌즈를 통하여 입사된 좌안 영상의 특징점 및 우안 렌즈를 통하여 입사된 우안 영상의 특징점을 획득하는 단계;
    상기 좌안 영상의 특징점 및 상기 우안 영상의 특징점을 비교하여 상기 좌안 영상과 상기 우안 영상 사이의 시차(disparity)를 검출하는 단계;
    상기 좌안 영상과 상기 우안 영상 사이의 시차가 미리 설정된 기준 시차가 되도록 상기 좌안 렌즈 및 상기 우안 렌즈 사이의 거리를 제어하는 단계; 및
    상기 좌안 영상 및 상기 우안 영상 내에 있는 특정 오브젝트에 폭주점(convergence point)이 위치하도록 상기 좌안 영상과 상기 우안 영상 중 적어도 하나를 시프트하는 단계
    를 포함하는 3 차원 촬상 장치의 제어 방법.
  2. 제1항에 있어서,
    상기 좌안 영상과 상기 우안 영상 중 적어도 하나를 시프트하는 단계는
    상기 특정 오브젝트는 오토포커스(AF, Auto-Focus) 영역에 존재하고, 상기 특정 오브젝트에 대한 상기 좌안 영상에 존재하는 특징점과 상기 우안 영상에 존재하는 특징점 사이의 시차가 최소가 되도록 상기 좌안 영상과 상기 우안 영상 중 적어도 하나를 시프트하는 단계인 3차원 촬상 장치의 제어 방법.
  3. 제1항에 있어서,
    상기 좌안 렌즈 및 상기 우안 렌즈 사이의 거리를 제어하는 단계는
    광축과 실질적으로(substantially) 수직 방향으로 상기 좌안 렌즈 및 상기 우안 렌즈 중 적어도 하나를 이동(moving)하는 단계
    를 포함하는 3차원 촬상 장치의 제어 방법.
  4. 제3항에 있어서,
    상기 좌안 렌즈 및 상기 우안 렌즈 중 적어도 하나를 이동(moving)하는 단계는
    이미 설정된 최대 시간 이내에서 상기 좌안 렌즈 및 상기 우안 렌즈 중 적어도 하나를 이동(moving)하는 단계인 3차원 촬상 장치의 제어 방법.
  5. 제1항에 있어서,
    상기 특정 오브젝트의 시차가 최소가 되는 경우, 다른 적어도 하나의 오브젝트는 음(negative)의 시차를 갖고, 또 다른 적어도 하나의 오브젝트는 양(positive)의 시차를 갖는 3차원 촬상 장치의 제어 방법.
  6. 제5항에 있어서,
    상기 좌안 렌즈 및 상기 우안 렌즈를 기준으로 상기 다른 적어도 하나의 오브젝트는 상기 특정 오브젝트의 앞에 위치하고 상기 또 다른 적어도 하나의 오브젝트는 상기 특정 오브젝트의 뒤에 위치하거나, 또는 상기 다른 적어도 하나의 오브젝트는 상기 특정 오브젝트의 뒤에 위치하고 상기 또 다른 적어도 하나의 오브젝트는 상기 오브젝트의 앞에 위치하는 3차원 촬상 장치의 제어 방법.
  7. 제1항에 있어서,
    상기 좌안 렌즈 및 상기 우안 렌즈 사이의 거리를 제어하는 단계는
    상기 좌안 영상과 상기 우안 영상 사이의 시차가 미리 설정된 기준 시차가 되도록 상기 좌안 영상과 상기 우안 영상 사이의 시차와 미리 설정된 기준 시차를 비교하는 단계를 포함하고,
    상기 미리 설정된 기준 시차 dref는 하기 수학식
    max{(dmax - dconv), (dconv - dmin)} ≒ dref
    (dmax는 상기 시차 중 최대시차이고, dmin는 상기 시차 중 최소시차이고, dconv는 상기 특정 오브젝트의 시차임.)
    를 통해 정의되는 3차원 촬상 장치의 제어 방법.
  8. 제1항에 있어서,
    상기 좌안 영상과 상기 우안 영상 사이의 시차(disparity)를 검출하는 단계는
    상기 좌안 영상과 상기 우안 영상 사이의 복수의 시차들에 대한 누적 히스토그램을 이용하여 상기 좌안 영상과 상기 우안 영상 사이의 시차(disparity)를 검출하는 단계인 3차원 촬상 장치의 제어 방법.
  9. 제7항에 있어서,
    상기 미리 설정된 기준 시차(dref)는 30분 이상과 40분 미만의 사이의 값이고,
    상기 미리 설정된 기준 시차는 화면의 평면상에 렌즈가 포커싱된 경우의 폭주각(convergence angle)과 평면상에 렌즈가 디포커싱된 경우의 폭주각(convergence angle)의 차이이고,
    상기 폭주각은 상기 좌안 렌즈와 상기 우안 렌즈가 상기 오브젝트에 포커싱된 경우 상기 렌즈들 사이각을 나타내는 3차원 촬상 장치의 제어 방법.
  10. 제1항에 있어서,
    상기 좌안 영상과 상기 우안 영상 사이의 시차(disparity)를 검출하는 단계는
    상기 좌안 영상 또는 상기 우안 영상의 조도에 따라 이전 좌안 영상 또는 이전 우안 영상의 프레임 수를 결정하는 단계; 및
    상기 이전 좌안 영상의 프레임 또는 상기 이전 우안 영상의 프레임을 이용하여 상기 좌안 영상과 상기 우안 영상 사이의 시차(disparity)의 일관성을 판단하는 단계
    를 포함하는 3차원 촬상 장치의 제어 방법.
  11. 제10항에 있어서,
    이전 좌안 영상 또는 이전 우안 영상의 프레임 수를 결정하는 단계는
    상기 조도가 높을수록 상기 이전 좌안 영상 또는 상기 이전 우안 영상의 프레임 수를 감소시키고, 상기 조도가 낮을수록 상기 이전 좌안 영상 또는 상기 이전 우안 영상의 프레임 수를 증가시키는 단계
    를 포함하는 3차원 촬상 장치의 제어 방법.
  12. 3 차원 촬상 장치에 있어서,
    좌안 렌즈를 통하여 입사된 좌안 영상의 특징점 및 우안 렌즈를 통하여 입사된 우안 영상의 특징점을 획득하는 획득부;
    상기 좌안 영상의 특징점 및 상기 우안 영상의 특징점을 비교하여 상기 좌안 영상과 상기 우안 영상 사이의 시차(disparity)를 검출하는 검출부;
    상기 좌안 영상과 상기 우안 영상 사이의 시차가 미리 설정된 기준 시차가 되도록 상기 좌안 렌즈 및 상기 우안 렌즈 사이의 거리를 제어하고,
    상기 좌안 영상 및 상기 우안 영상 내에 있는 특정 오브젝트에 폭주점(convergence point)이 위치하도록 상기 좌안 영상과 상기 우안 영상 중 적어도 하나를 시프트하는 제어부
    를 포함하는 3 차원 촬상 장치.
  13. 제12항에 있어서,
    상기 제어부는
    상기 특정 오브젝트는 오토포커스(AF, Auto-Focus) 영역에 존재하고, 상기 특정 오브젝트에 대한 상기 좌안 영상에 존재하는 특징점과 상기 우안 영상에 존재하는 특징점 사이의 시차가 최소가 되도록 상기 좌안 영상과 상기 우안 영상 중 적어도 하나를 시프트하는 3차원 촬상 장치.
  14. 제12항에 있어서,
    상기 제어부는
    광축과 실질적으로(substantially) 수직 방향으로 상기 좌안 렌즈 및 상기 우안 렌즈 중 적어도 하나를 이동(moving)하는 3차원 촬상 장치.
  15. 제14항에 있어서,
    상기 제어부는
    이미 설정된 최대 시간 이내에서 상기 좌안 렌즈 및 상기 우안 렌즈 중 적어도 하나를 이동(moving)하는 3차원 촬상 장치.
  16. 제12항에 있어서,
    상기 제어부는
    상기 좌안 영상과 상기 우안 영상 사이의 시차가 미리 설정된 기준 시차가 되도록 상기 좌안 영상과 상기 우안 영상 사이의 시차와 미리 설정된 기준 시차를 비교하고,
    상기 미리 설정된 기준 시차 dref는 하기 수학식
    max{(dmax - dconv), (dconv - dmin)} ≒ dref
    (dmax는 상기 시차 중 최대시차이고, dmin는 상기 시차 중 최소시차이고, dconv는 상기 특정 오브젝트의 시차임.)
    를 통해 정의되는 3차원 촬상 장치.
  17. 제16항에 있어서,
    상기 미리 설정된 기준 시차(dref)는 30분 이상과 40분 미만의 사이의 값이고,
    상기 미리 설정된 기준 시차는 화면의 평면상에 렌즈가 포커싱된 경우의 폭주각(convergence angle)과 화면의 평면상에 렌즈가 디포커싱된 경우의 폭주각(convergence angle)의 차이이고,
    상기 폭주각은 상기 좌안 렌즈와 상기 우안 렌즈가 상기 오브젝트에 포커싱된 경우 상기 렌즈들 사이각을 나타내는, 3차원 촬상 장치.
  18. 제12항에 있어서,
    시차에 의해서 눈의 피로감을 나타내는 지시가 존재하고, 상기 지시에 따라서 권고 멘트를 표시하는 디스플레이부를
    더 포함하는 3차원 촬상 장치.
  19. 제1항 내지 제11항 중 어느 하나의 항의 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능 기록매체.
KR1020100112687A 2010-11-12 2010-11-12 3ｄ 입체감을 개선하고 시청 피로를 저감하는 방법 및 장치 KR20120051308A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100112687A KR20120051308A (ko) 2010-11-12 2010-11-12 3ｄ 입체감을 개선하고 시청 피로를 저감하는 방법 및 장치
US13/242,586 US8760502B2 (en) 2010-11-12 2011-09-23 Method for improving 3 dimensional effect and reducing visual fatigue and apparatus enabling the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100112687A KR20120051308A (ko) 2010-11-12 2010-11-12 3ｄ 입체감을 개선하고 시청 피로를 저감하는 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20120051308A true KR20120051308A (ko) 2012-05-22

Family

ID=46047398

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100112687A KR20120051308A (ko) 2010-11-12 2010-11-12 3ｄ 입체감을 개선하고 시청 피로를 저감하는 방법 및 장치

Country Status (2)

Country Link
US (1) US8760502B2 (ko)
KR (1) KR20120051308A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019013443A1 (ko) * 2017-07-10 2019-01-17 삼성전자(주) 디스플레이장치 및 그 제어방법
KR20190046387A (ko) 2017-10-26 2019-05-07 주식회사 그루크리에이티브랩 Hmd 영상 보정 방법 및 hmd에 보정 영상을 표시하는 방법
KR101947372B1 (ko) 2017-09-04 2019-05-08 주식회사 그루크리에이티브랩 Hmd에 위치 보정 영상을 제공하는 방법 및 hmd에 위치 보정 영상을 표시하는 방법, 그리고 이를 이용한 위치 보정 영상을 표시하는 hmd

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11228753B1 (en) 2006-12-28 2022-01-18 Robert Edwin Douglas Method and apparatus for performing stereoscopic zooming on a head display unit
US11315307B1 (en) 2006-12-28 2022-04-26 Tipping Point Medical Images, Llc Method and apparatus for performing rotating viewpoints using a head display unit
US11275242B1 (en) 2006-12-28 2022-03-15 Tipping Point Medical Images, Llc Method and apparatus for performing stereoscopic rotation of a volume on a head display unit
US10795457B2 (en) 2006-12-28 2020-10-06 D3D Technologies, Inc. Interactive 3D cursor
KR20120056434A (ko) * 2010-11-25 2012-06-04 삼성전자주식회사 3차원 영상 촬상 장치
WO2012157177A1 (ja) * 2011-05-19 2012-11-22 パナソニック株式会社 輻輳能力判定装置及びその方法
US9113142B2 (en) * 2012-01-06 2015-08-18 Thomson Licensing Method and device for providing temporally consistent disparity estimations
US10178368B2 (en) * 2012-10-23 2019-01-08 Intuitive Surgical Operations, Inc. Stereo imaging system with automatic disparity adjustment for displaying close range objects
US9948918B2 (en) * 2012-12-10 2018-04-17 Mediatek Inc. Method and apparatus for stereoscopic focus control of stereo camera
EP2750392A1 (en) * 2012-12-27 2014-07-02 ST-Ericsson SA Visually-assisted stereo acquisition from a single camera
US9182817B2 (en) * 2013-03-12 2015-11-10 Intel Corporation Techniques for automated evaluation of 3D visual content
BR112015024910A2 (pt) 2013-03-26 2017-07-18 Seiko Epson Corp dispositivo de exibição montado na cabeça, método de controle de dispositivo de exibição montado na cabeça e sistema de exibição
JP2014206893A (ja) * 2013-04-15 2014-10-30 ソニー株式会社 画像処理装置と画像処理方法およびプログラム
US9736467B2 (en) * 2013-08-05 2017-08-15 Samsung Display Co., Ltd. Apparatus and method for adjusting stereoscopic images in response to head roll
KR102114346B1 (ko) 2013-08-30 2020-05-22 삼성전자주식회사 스테레오 컨버전스 제어 방법 및 이를 적용한 스테레오 이미지 프로세서
CN106406423B (zh) * 2016-08-30 2019-05-07 长沙丰灼通讯科技有限公司 一种软件算法模拟同步总线产生时钟信号的方法
US10841558B2 (en) * 2017-11-17 2020-11-17 Omnivision Technologies, Inc. Aligning two images by matching their feature points
CN114390271B (zh) * 2020-10-19 2023-08-18 苏州佳世达光电有限公司 判别连续影像顺序的***及其方法
EP4315824A1 (en) * 2021-03-29 2024-02-07 Alcon Inc. Stereoscopic imaging platform with continuous autofocusing mode

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5157484A (en) * 1989-10-23 1992-10-20 Vision Iii Imaging, Inc. Single camera autosteroscopic imaging system
JP3059590B2 (ja) * 1992-09-30 2000-07-04 富士通株式会社 立体表示方法及び装置
JP3322283B2 (ja) * 1993-09-14 2002-09-09 ソニー株式会社 画像表示装置
EP0655869B1 (en) * 1993-11-29 2000-04-26 Canon Kabushiki Kaisha Stereoscopic image processing apparatus
US7369160B2 (en) * 2001-06-15 2008-05-06 Yokogawa Electric Corporation Camera system for transferring both image data and an image processing program to transfer the image data to an external device
KR100424287B1 (ko) * 2001-09-10 2004-03-24 주식회사 제이앤에이치테크놀러지 비평행 광축 실시간 입체 영상 처리 시스템 및 방법
JP4707368B2 (ja) * 2004-06-25 2011-06-22 雅貴 ▲吉▼良 立体視画像作成方法および装置
KR100624431B1 (ko) * 2004-08-03 2006-09-19 삼성전자주식회사 입체영상 관찰을 위한 주시거리 조정 방법 및 그 장치
KR100667810B1 (ko) * 2005-08-31 2007-01-11 삼성전자주식회사 ３ｄ 영상의 깊이감 조정 장치 및 방법
KR100739730B1 (ko) * 2005-09-03 2007-07-13 삼성전자주식회사 3ｄ 입체 영상 처리 장치 및 방법
KR101244911B1 (ko) * 2005-10-11 2013-03-18 삼성전자주식회사 카메라 파라미터를 이용한 다시점 동영상 부호화 및 복호화장치 및 방법과 이를 수행하기 위한 프로그램이 기록된기록매체
KR101185870B1 (ko) * 2005-10-12 2012-09-25 삼성전자주식회사 3ｄ 입체 영상 처리 장치 및 방법
KR100739764B1 (ko) * 2005-11-28 2007-07-13 삼성전자주식회사 입체 영상 신호 처리 장치 및 방법
KR101311896B1 (ko) * 2006-11-14 2013-10-14 삼성전자주식회사 입체 영상의 변위 조정방법 및 이를 적용한 입체 영상장치
JP4406937B2 (ja) * 2006-12-01 2010-02-03 富士フイルム株式会社 撮影装置
KR20080076628A (ko) * 2007-02-16 2008-08-20 삼성전자주식회사 영상의 입체감 향상을 위한 입체영상 표시장치 및 그 방법
JP4739291B2 (ja) * 2007-08-09 2011-08-03 富士フイルム株式会社 撮影画角算出装置
US8390674B2 (en) * 2007-10-10 2013-03-05 Samsung Electronics Co., Ltd. Method and apparatus for reducing fatigue resulting from viewing three-dimensional image display, and method and apparatus for generating data stream of low visual fatigue three-dimensional image
US8887218B2 (en) * 2007-11-29 2014-11-11 Jan Maurits Nicolaas Fielibert Systems and methods of adjusting bandwidth among multiple media streams
JP5083052B2 (ja) * 2008-06-06 2012-11-28 ソニー株式会社 立体視画像生成装置、立体視画像生成方法およびプログラム
JP2010045584A (ja) * 2008-08-12 2010-02-25 Sony Corp 立体画像補正装置、立体画像補正方法、立体画像表示装置、立体画像再生装置、立体画像提供システム、プログラム及び記録媒体
US8300089B2 (en) * 2008-08-14 2012-10-30 Reald Inc. Stereoscopic depth mapping
US8831335B2 (en) * 2008-11-25 2014-09-09 Nec Solution Innovators, Ltd. Stereo matching processing apparatus, stereo matching processing method and computer-readable recording medium
JP5247522B2 (ja) * 2009-02-18 2013-07-24 パナソニック株式会社 撮像装置
US8798160B2 (en) * 2009-11-06 2014-08-05 Samsung Electronics Co., Ltd. Method and apparatus for adjusting parallax in three-dimensional video

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019013443A1 (ko) * 2017-07-10 2019-01-17 삼성전자(주) 디스플레이장치 및 그 제어방법
KR101947372B1 (ko) 2017-09-04 2019-05-08 주식회사 그루크리에이티브랩 Hmd에 위치 보정 영상을 제공하는 방법 및 hmd에 위치 보정 영상을 표시하는 방법, 그리고 이를 이용한 위치 보정 영상을 표시하는 hmd
US10445888B2 (en) 2017-09-04 2019-10-15 Grew Creative Lab Inc. Method of providing position-corrected image to head-mounted display and method of displaying position-corrected image to head-mounted display, and head-mounted display for displaying the position-corrected image
KR20190046387A (ko) 2017-10-26 2019-05-07 주식회사 그루크리에이티브랩 Hmd 영상 보정 방법 및 hmd에 보정 영상을 표시하는 방법

Also Published As

Publication number Publication date
US20120120202A1 (en) 2012-05-17
US8760502B2 (en) 2014-06-24

Similar Documents

Publication Publication Date Title
KR20120051308A (ko) 3ｄ 입체감을 개선하고 시청 피로를 저감하는 방법 및 장치
TWI543608B (zh) 相機模組的阻擋偵測方法以及具備多相機模組之電子裝置
KR20140108078A (ko) 논-스테레오스코픽 카메라를 이용하여 스테레오스코픽 이미지를 생성하는 방법과 기기 및 장치
US8026950B2 (en) Method of and apparatus for selecting a stereoscopic pair of images
US20110063421A1 (en) Stereoscopic image display apparatus
US20120154551A1 (en) Stereo image display system, stereo imaging apparatus and stereo display apparatus
US9420261B2 (en) Image capturing apparatus, method of controlling the same and program
KR20110140083A (ko) 표시 장치 및 표시 장치의 제어 방법
CN113129241B (zh) 图像处理方法及装置、计算机可读介质、电子设备
US20220078385A1 (en) Projection method based on augmented reality technology and projection equipment
KR20110071528A (ko) 스테레오 영상, 다시점 영상 및 깊이 영상 획득 카메라 장치 및 그 제어 방법
JP4819834B2 (ja) 立体映像処理装置及び立体映像処理方法
KR101270025B1 (ko) 스테레오 카메라의 주시각 제어방법 및 그 스테레오 카메라 장치
US20130215237A1 (en) Image processing apparatus capable of generating three-dimensional image and image pickup apparatus, and display apparatus capable of displaying three-dimensional image
US20190281280A1 (en) Parallax Display using Head-Tracking and Light-Field Display
CN113411564A (zh) 一种人眼跟踪参数的测量方法、装置、介质及***
JP2011141381A (ja) 立体画像表示装置及び立体画像表示方法
US8983125B2 (en) Three-dimensional image processing device and three dimensional image processing method
KR20110025020A (ko) 입체 영상 시스템에서 입체 영상 디스플레이 장치 및 방법
JP5741353B2 (ja) 画像処理システム、画像処理方法および画像処理プログラム
JP2012109788A (ja) 画像処理装置および視差情報生成装置
US20160065941A1 (en) Three-dimensional image capturing apparatus and storage medium storing three-dimensional image capturing program
KR101779423B1 (ko) 영상처리방법 및 영상처리장치
KR101173280B1 (ko) 주시각 제어를 위한 입체 영상 신호의 처리 방법 및 장치
JP5962125B2 (ja) 表示装置、同期方法及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right