KR20080085044A - 입체 표시 시스템에서의 오정렬 보정 방법, 입체 표시시스템 및 영상 처리 시스템 - Google Patents

입체 표시 시스템에서의 오정렬 보정 방법, 입체 표시시스템 및 영상 처리 시스템 Download PDF

Info

Publication number
KR20080085044A
KR20080085044A KR1020087017445A KR20087017445A KR20080085044A KR 20080085044 A KR20080085044 A KR 20080085044A KR 1020087017445 A KR1020087017445 A KR 1020087017445A KR 20087017445 A KR20087017445 A KR 20087017445A KR 20080085044 A KR20080085044 A KR 20080085044A
Authority
KR
South Korea
Prior art keywords
image
display
displacement map
pair
stereoscopic
Prior art date
Application number
KR1020087017445A
Other languages
English (en)
Inventor
엘레인 더블유 진
마이클 유진 밀러
쇼우푸 첸
마크 로버트 볼린
Original Assignee
이스트맨 코닥 캄파니
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이스트맨 코닥 캄파니 filed Critical 이스트맨 코닥 캄파니
Publication of KR20080085044A publication Critical patent/KR20080085044A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/133—Equalising the characteristics of different image components, e.g. their average brightness or colour balance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/327—Calibration thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

입체 표시 시스템(140)에서의 오정렬 보정 방법으로서, 영상 처리기(120)에 1쌍의 입력 영상을 제공하는 단계(120)와, 상기 1쌍의 입력 영상에 대한 영상 소스 디스플레이스먼트 맵을 생성하는 단계와, 표시 디스플레이스먼트 맵을 획득하는 단계(150)와, 상기 영상 소스 디스플레이스먼트 맵과 표시 디스플레이스먼트 맵을 상기 1쌍의 입력 영상에 적용하여, 보정된 입체 영상 페어를 생성하는 단계를 포함한다.

Description

입체 표시 시스템에서의 오정렬 보정 방법, 입체 표시 시스템 및 영상 처리 시스템{A METHOD FOR RECTIFYING STEREOSCOPIC DISPLAY SYSTEMS}
본 발명은 일반적으로 입체(stereoscopic) 캡처, 처리 및 표시 시스템에 관한 것이다. 보다 구체적으로, 본 발명은 영상 처리 알고리즘을 이용하여 소스 영상과 표시 시스템에서의 공간적 오정렬(spatial misalignment)을 보상하는 방법을 제공하는 입체 시스템에 관한 것이다.
보통 사람의 시각 시스템은 2개의 눈을 통해서 세상에 대한 2개의 분리된 시야를 제공한다. 각각의 눈은 코 쪽에서 약 60도이고 관자놀이 쪽에서 약 90도의 수평 시야를 가진다. 2개의 눈을 가진 사람은 전체적으로 넓은 시야를 가질 뿐만 아니라, 그 2개의 망막에 형성된 약간 상이한 2개의 영상을 가지며, 그에 따라 상이한 관점을 형성한다. 보통 사람의 쌍안 시야에서, 각 물체에 대한 2개의 시야간의 불일치는 사람의 뇌에 의해 단서로 사용되어, 물체간의 상대적인 거리를 유추한다. 이러한 유추는 2개의 영상에서의 대응 물체의 상대적인 수평 디스플레이스먼트(horizontal displacement)를 비교함으로써 달성된다.
입체 디스플레이는, 각각의 눈에 상이한 영상을 표시함으로써, 가시 시스템에 수평 불일치의 단서를 제공하도록 고안된다. 통상적으로, 공지된 입체 디스플레이는 상이한 영상을 시간, 파장 또는 공간별로 분리함으로써, 관찰자의 2개의 각각의 눈에 상이한 영상을 표시한다. 이들 시스템은 시간별로 2개의 영상을 분리하는 액정 셔터, 공간별로 2개의 영상을 분리하는 렌티큘러 화면, 배리어 화면 또는 자동 입체 투사를 이용하고, 또한, 광학적인 특성에 근거하여 2개의 영상을 분리하는 컬러 필터 또는 편광기를 이용한다.
2개의 눈이 일반적으로 수평 방향으로 배치되어 있는 반면에, 일반적으로 수직 방향으로는 배치되지 않음을 이해해야 한다. 따라서, 수평 불일치는 예상되는 반면에, 수직 불일치는 예상되지 않아 입체 표시 시스템의 유용성을 상당히 악화시킬 수 있다. 예를 들면, 2개의 영상에서의 대응 물체 사이에 존재하는 수직 디스플레이스먼트 또는 오정렬은 2개의 영상을 하나의 인지 영상으로 융합하는 관찰자의 능력을 감소시키고, 또한 관찰자는 시각적 피로 및 그 외의 바람직하지 못한 부작용을 경험하기 쉽다. 오정렬의 양이 작으면, 수직 불일치의 존재는 눈의 피로, 열화된 거리(depth), 및 거리 지각(depth perception)의 부분적 손실을 초래한다. 수직 오정렬의 양이 크면, 수직 불일치는 양안 경쟁(binocular rivalry) 및 거리 지각의 전체적 손실을 초래할 수 있다.
영상 캡처시 및 영상 표시시를 포함하여, 다양한 단계에서 수직 오정렬이 입체 영상에 도입될 수 있다. 영상 캡처시에, 그 자체로 항상 수직으로 정렬될 수는 없는 자동 광학 시스템을 통해서 캡처되고 있는 영상 페어 중 한쪽의 영상으로 입 체 영상 페어(a stereo image pair)를 통상적으로 기록하거나, 또는, 하나의 카메라를 이용하여 캡처 사이에서 카메라를 길이 방향으로 이동시킴으로써 2개의 영상을 기록하는데, 이때 카메라의 수직 위치가 변경될 수 있다. 캡처 시스템이 수직 오정렬에 대해 벗어나 있으면, 입체 페어의 모든 픽셀은 특정한 양만큼 수직하게 어긋날 수 있다. 캡처 시스템에 가까운 물체를 캡처하는 데 종종 필요한 것처럼, 카메라가 서로 병렬로 위치되지 않으면, 키스톤 왜곡(keystone distortion)이 형성될 수도 있다. 이 키스톤 왜곡은 종종 장면의 반대쪽에 위치한 물체의 수직 사이즈를 줄이고, 또한 이 키스톤 왜곡은 입체 페어에서의 상이한 픽셀에 대한 상이한 양의 수직 오정렬을 초래한다. 따라서, 키스톤 왜곡으로 인한 수직 오정렬은 영상의 중심에 비해서 영상의 코너에서 더욱 클 수 있다. 2개의 캡처는 입체 영상에서의 수직 오정렬을 야기하는, 회전차 또는 배율차를 가질 수도 있다. 회전차 및 배율차로부터의 수직 오정렬은 일반적으로 영상의 코너에서 크고, 영상의 중심에 가까운 위치에서는 작다. 통상, 입체 영상의 수직 오정렬은 상기한 요인을 조합한 결과이다. 영상을 캡처하거나 필름과 같은 아날로그 매체에 저장하고, 아날로그 영상을 디지털로 변환하는 데 스캐너를 사용하면, 스캐닝 프로세스가 이러한 형태의 수직 오정렬을 야기할 수도 있다.
또한, 수직 불일치는 수직 오정렬, 혹은, 표시 렌즈의 회전 또는 배율에 의해 생성될 수 있다. 많은 입체 표시 시스템은, 각각이 수많은 광학 구성요소 및 표시 구성요소로 이루어진 2개의 독립적인 영상 채널을 갖고 있다. 2개의 채널에 사용하는 2개의 동일한 구성요소를 제조하는 것은 매우 어렵다. 또한, 2개의 영상 채널이 수직 위치에서 서로 동일하고 수평 위치에서 정확하게 오프셋되도록 시스템을 조립하는 것도 매우 어렵다. 그 결과, 2개의 영상 채널 사이에 다양한 공간적 미스매치가 도입될 수 있다. 표시 시스템에서의 공간적 미스매치는 입체 영상에서의 공간적 디스플레이스먼트로 나타난다. 입체 영상에서, 수평 디스플레이스먼트는 일반적으로 거리차로 해석될 수 있지만, 수직 디스플레이스먼트는 사용자에게 불편감을 줄 수 있다. 통상, 어느 정도의 수직 디스플레이스먼트로 영상을 나타낸 수 있는 입체 시스템(예를 들면, 헬멧 장착 디스플레이)은 상대 표시(relative display)에 대해 매우 엄격한 허용 오차를 갖는다. 이 엄격한 허용 오차의 존재는 종종 제조를 복잡하게 하여, 그러한 장치의 생산 비용을 상승시킨다.
영상 처리 알고리즘이 입체 캡처 시스템에서 형성된 공간적의 오정렬을 보정하는 데 사용되어 왔다. 미국특허 제6,191,809호 및 유럽특허 1 235 439 A2는, 입체 캡처 장치, 특히 입체 내시경에 의해 생성된 입체 영상의 오정렬을 전자적으로 보정하는 수단을 개시하고 있다. 캡처 공간 내의 타겟은 눈금 조정을 위해 사용된다. 타겟의 캡처된 좌우 영상으로부터, 캡처 장치의 배율 및 회전 오차를 순차적으로 추정하여, 캡처된 영상을 보정하는 데 사용한다. 배율 및 회전 오차에 대해 보정된 타겟의 캡처된 영상의 두번째 집합에 근거하여, 수평 및 수직 오프셋을 추정한다.
미국특허출원공개 제2003/0156751 A1호는, 2개의 캡처된 영상을 보정하고 이 보정된 영상 페어로부터 수직 불일치를 실질적으로 제거하는 1쌍의 보정 변환을 결정하는 방법을 개시한다. 보정의 목표는 입체 영상 페어를 비병렬 카메라 셋업으 로부터 가상 병렬 카메라 셋업으로 변형하는 것이다. 이 방법은 캡처된 영상과, 입체 영상 캡처 장치의 통계적 파라미터를 입력으로 한다. 파라미터는 단일 카메라의 초점 길이 및 주점(principal point)과 같은 내적인 파라미터와, 2대의 카메라 사이의 회전 및 전환과 같은 외적인 파라미터를 포함할 수 있다. 입체 영상 페어에 보정 변환을 적용하는 데 워핑(warping) 방법이 사용된다. 상기한 각각의 참조문헌은 캡처 장치에 관한 정보를 필요로 하거나, 영상 처리 시스템을 캡처 프로세스로 연결하는 것을 필요로 한다. 미지의 영상 소스의 경우에, 상기한 방법은 적합게 기능하지 못할 것이다.
또한, 입체 표시 시스템의 일정한 구성요소를 정렬할 필요성이 있음이 인지되어 왔었다. 미국특허출원공개 제2004/0263970 A1호는, 소프트웨어 수단을 이용하여, 렌티큘러 렌즈의 어레이를 디스플레이에 정렬하는 방법을 개시하고 있다. 소프트웨어는 디스플레이 상의 픽셀 어레이에 대해 렌티큘러 어레이를 위치시키는것을 돕는 테스트 패턴을 제공하는 프로그램으로 이루어진다. 정렬 단계에서, 사용자는 렌티큘러 화면에 대해, 디스플레이 상에 표시된 테스트 패턴의 회전 위치를 나타내기 위해 소정의 입력 수단을 사용할 것이다. 설치의 정렬 단계에 의해 결정된 정보는 그 후에 컴퓨터에 저장되어, 랜더링 알고리즘이 디스플레이 상의 기초적인(underlying) 픽셀 패턴에 대해서 렌티큘러 화면의 회전을 보상할 수 있도록 한다. 렌티큘러 화면의 회전 정렬에 대해 보상하는 소프트웨어 처리를 수행하는 실제 알고리즘은 상기 문헌에 기재되어 있지 않지만, 렌티큘러 화면의 오정렬이 주로 왼쪽 눈 대 오른쪽 눈에 의해 보여질 픽셀의 위치에서의 수평 이동을 초래할 것이 라 예상되고, 이러한 알고리즘은 이 결함(artifact)을 보상할 것으로 예상된다. 따라서, 상기 참조문헌은 입체 표시 시스템 내의 수직 오정렬을 보상하는 방법을 제공하지 못한다.
따라서, 캡처 시스템에 대한 지식 없이 2개의 입체 영상 사이의 전체적인 공간적 오정렬을 최소화할 수 있는 입체 표시 시스템을 형성할 필요가 있다. 표시 시스템에서의 수직 및 수평의 공간적 오정렬에 대한 보상 방법도 필요로 한다. 이 방법은 더욱 강인해야 하고, 실시간으로 수행될 수 있도록 최소한의 처리 시간을 필요로 하고, 최소의 사용자 상호 작용을 필요로 해야 한다.
발명의 개시
본 발명은 상기한 하나 이상의 문제점을 극복하기 위해서 이루어진 것이다. 본 발명의 한 측면에 의하면, 영상 처리 알고리즘은, 영상 캡처/재생 프로세스에 도입되는 수직 오정렬을, 원인에 관한 사전 지식 없이 보정하기 위해 개발된 것이다. 이 영상 처리 알고리즘은 2개의 영상을 비교하여 한쪽의 영상을 다른 한쪽에 등록한다. 영상 등록 프로세스는 수평 및 수직 방향의 양쪽에 대해 2개의 디스플레이스먼트 맵을 생성한다. 상기 알고리즘은 한쪽 또는 양쪽의 영상에 수직 디스플레이스먼트를 적용하여, 수직 방향으로 양호하게 정렬된 2개의 영상을 만든다. 또한, 본 발명의 방법은 1쌍의 시험 타겟, 2개의 비디오 카메라 세트, 비디오 혼합기, 비디오 모니터를 이용하여, 표시 디스플레이스먼트 맵을 생성한다. 또한, 이 디스플레이스먼트 맵은 입체 영상을 전처리하여, 표시 시스템에 도입된 소정의 공 간적 오정렬을 보상하는 영상 워핑 알고리즘에 의해서도 사용될 수 있다. 전반적으로, 본 발명은 입체 표시 시스템에서의 소스 또는 표시 장치 중 어느 하나에 의해 야기되는 공간적 오정렬을 최소화하는 통합된 해결책을 제공한다.
본 발명의 상기한 것 이외의 목적, 특징 및 이점은 이하의 설명 및 도면에 의해 보다 명백해질 것이고, 도면에 공통적인 동일한 특징에 대해 가능하면 동일한 참조번호를 사용한다.
도 1은 본 발명의 실시예에 따른 시스템의 도면,
도 2a는 본 발명의 영상 수직 오정렬의 보정 방법을 나타내는 흐름도,
도 2b는 도 2a에 도입된 방법을 이용하는 시스템을 나타내는 도면,
도 3은 영상 수직 오정렬 보정의 예시적인 결과,
도 4는 본 발명에서의 표시 시스템 오정렬을 보상하는 단계를 나타내는 흐름도,
도 5는 표시 시스템 디스플레이스먼트 맵을 기록하는 캡처 시스템의 예시도,
도 6은 표시 오정렬 보상에 사용되는 테스트 타겟의 예시,
도 7은 표시 시스템 오정렬 보상의 예시적인 결과,
도 8a는 본 발명의 표시 오정렬의 보정 방법을 나타내는 흐름도,
도 8b는 도 8a에 도입된 방법을 이용하는 시스템을 나타내는 도면.
이해를 돕기 위해, 도면에서의 공통된 동일한 요소에는 가능하면 동일한 참 조번호를 사용하였다.
본 설명은 특히 일부를 형성하는 구성요소, 또는, 본 발명에 따른 장치와 보다 직접적으로 협동하는 구성요소에 관한 것이다. 구체적으로 도시 또는 기술되지 않은 구성요소는 당업자에게 있어서 공지된 다양한 형태를 취할 수 있음을 이해해야 한다.
본 발명은 입체 표시 시스템에서의 오정렬 보정 방법에 관한 것으로, 입력 영상을 영상 처리기에 제공하는 단계와; 영상 소스 디스플레이스먼트 맵을 생성하는 단계와; 표시 디스플레이스먼트 맵을 획득하는 단계와; 상기 영상 소스 디스플레이스먼트 맵과 표시 디스플레이스먼트 맵을 상기 입력 영상에 적용하여 보정된 입체 영상 페어를 생성하는 단계를 포함한다. 상기 영상 소스 디스플레이스먼트 맵과 표시 디스플레이스먼트 맵은 시스템 디스플레이스먼트 맵을 생성하기 위해 결합될 수 있고, 이 맵은 단일 단계에서 입력 영상에 적용될 수 있다. 이와 달리, 상기 영상 소스 디스플레이스먼트 맵과 표시 디스플레이스먼트 맵은 각각의 단계에서 입력 영상에 교대로 적용될 수 있다. 또한, 본 발명의 방법을 채용하는 시스템을 제공한다. 또한, 상기 입력 영상의 분석에 기초하여 상기 영상 소스 디스플레이스먼트 맵을 생성 및 적용하고, 또한, 상기 표시 디스플레이스먼트 맵을 생성 및 적용하는 방법을 제공한다.
본 발명은 하나 이상의 구성요소가 관찰자인 사람에게 불편감을 줄 수 있는 어느 정도의 공간적인 오정렬을 도입하는 입체 영상 시스템 내에서 적용되었을 때 유용하다. 하나의 영상이 두번째 영상에 정렬하도록 변환되어야 하는 정도를 나타내는 영상 변환 함수를 1쌍의 입체 영상에 대해 계산하고; 수직 디스플레이스먼트 맵을 생성하기 위해 수직 보상을 적용하고; 적어도 하나의 입체 영상에 대해 워킹 디스플레이스먼트 맵을 계산하고; 계산된 워킹 디스플레이스먼트 맵을 이용하여 입체 영상을 변형함으로써 수직 디스플레이스먼트를 보정함으로써, 소스 영상의 수직 오정렬을 보상한다. 이러한 처리 체인은, 표시의 오정렬에 의해 형성된 수직 또는 수평 디스플레이스먼트를 보상하기 위해 수직 또는 수평 디스플레이스먼트 양쪽을 포함하는 디스플레이스먼트 맵을 생성함으로써, 표시 속성을 추가적으로 고려할 수 있다. 표시 시스템 디스플레이스먼트 맵을 생성하고, 하나 이상의 영상을 전처리하는 데 워핑 알고리즘을 적용함으로써, 표시 시스템의 공간적 오정렬이 보상되어, 관찰자는 최소의 시스템이 도입된 공간적 오정렬을 가진 입체 영상 페어를 인지할 것이다.
이러한 영상 처리 체인은 입체 영상의 관람 경험에 관한 품질과 편안함을 개선할 수 있다. 본 발명은 수직 불일치를 포함하는 영상이 불편감을 야기한다고 하는, 저자에 의한 조사 결과에 근거하고 있다. 관찰 경험에서의 이러한 개선은, 향상된 사용자의 즐거움, 참여도 및/또는 기쁨의 관점에서, 종종 향상된 사용자 편안함 또는 개선된 관찰 경험을 가져온다. 이러한 개선은 입체 영상 페어에 의해 표현되는 영상 내의 거리 또는 깊이의 추정과 같은 임무의 완료하는 동안에 사용자의 능력 개선으로 연결될 수도 있다.
본 발명의 실시에 있어서 유용한 시스템을 도 1에 나타낸다. 이 시스템은 입체 영상 정보 또는 컴퓨터 그래픽 모델 및 텍스쳐를 획득하는 영상 소스(110)와, 영상 소스로부터 수직 및 수평 디스플레이스먼트 맵을 추출하여, 수직 오정렬을 최소화하도록 입력 영상을 처리하는 영상 처리기(120)와, 입체 영상을 랜더링하는 랜더링 처리기(130)와, 랜더링된 1쌍의 입체 영상을 표시하는 입체 표시 장치(140)를 포함한다. 또한, 이 시스템은 표시 디스플레이스먼트 맵의 획득 수단(150)과, 표시 왜곡 맵을 저장하는 저장 장치(160)를 갖는다. 랜더링 처리기(130)에서, 영상 처리기(120)로부터의 영상을 재랜더링하여 표시 시스템에서의 오정렬를 보상하는 데 상기 표시 디스플레이스먼트 맵을 사용한다.
영상 소스(110)는 입체 영상 정보를 제공할 수 있는 소정의 장치 또는 장치의 조합일 수 있다. 예를 들면, 상기 영상 소스는 입체 영상 정보를 캡처링할 수 있는 1쌍의 스틸 또는 비디오 카메라를 포함할 수 있다. 이와 달리, 영상 소스(110)는 하나 이상의 입체 영상을 저장할 수 있는 서버일 수도 있다. 또한, 영상 소스(110)는, 컴퓨터가 생성한 그래픽 환경의 선명도와, 3차원 그래픽 환경의 입체 화면을 랜더링하기 위해 영상 처리기에 의해 사용될 수 있는 텍스쳐를 제공할 수 있는 메모리 장치로 구성될 수 있다.
영상 처리기(120)는 영상 소스(110)로부터 검색된 1쌍의 입체 영상간의 오정렬을 판단하는 데 필요한 계산을 수행할 수 있는 소정의 처리기일 수 있다. 예를 들면, 상기 처리기는 소정의 주문형 반도체(ASIC), 프로그램 가능한 집적 회로 또는 다용도 처리기일 수 있다. 영상 처리기(120)는 영상 소스(110)로부터의 정보에 근거하여 필요한 계산을 수행한다.
랜더링 처리기(130)는 1쌍의 입력 영상에 워핑 알고리즘을 적용하여 표시 시스템에서의 공간적 오정렬을 보상하는 데 필요한 계산을 수행할 수 있는 소정의 처리기일 수 있다. 이 계산은 영상 처리기(120) 및 저장 장치(160)로부터의 정보를 기초로 한다. 랜더링 처리기(130) 및 영상 처리기(120)는 2개의 분리된 장치이거나, 또는 동일한 장치일 수 있다.
입체 표시 장치(140)는 사용자에게 1쌍의 입체 영상을 제공할 수 있는 소정의 디스플레이일 수 있다. 예를 들면, 입체 표시 장치(140)는, 배리어 화면 액정 표시 장치, 액정 셔터 및 셔터 유리를 갖는 CRT, 선형 또는 원형 편광 유리를 갖는 편광 주사 시스템, 볼록 렌즈를 채용하는 디스플레이, 주사 자동 입체 디스플레이, 또는 좌우 눈의 각각에 대한 1쌍의 입체 사진 영상을 표시면에 나타낼 수 있는 그 외의 장치 등의, 표시면에 영상을 나타내는(즉, 표시면의 평면에 원근 조절점 및 수렴점을 갖는) 직시(direct view) 장치일 수 있다. 또한, 입체 표시 장치(140)는, 자동 입체 주사 표시 장치, 쌍안용 헬맷 장착 표시 장치 또는 망막 레이저 주사 디스플레이 등의, 조절 가능한 원근 조절점 및 수렴점을 갖고 있고, 가상 위치에서 영상을 표시하는 가상 영상 디스플레이일 수 있다.
표시 디스플레이스먼트 맵의 획득 수단(150)은, 기지의 포인트의 공간적 배치를 갖는 입체 영상 페어를 표시하는 표시 장치와, 좌우 영상을 캡처하는 1쌍의 입체 카메라와, 2개의 영상을 비교하여 표시 디스플레이스먼트 맵을 유추하는 처리기를 포함할 수 있다. 2개의 카메라의 공간적 정렬이 알려져 있는 한, 소정의 스틸 디지털 카메라 또는 비디오 카메라로 캡처를 획득할 수 있다. 다르게는, 표시 디스플레이스먼트 맵의 획득 수단은, 알려진 공간적 배치를 갖는 입체 영상 페어를 표시하는 표시 장치와, 2개의 포인트간의 대응성을 획득하기 위해 사용자가 입체 영상 페어 내의 적어도 하나의 영상을 이동시키도록 하는 사용자 입력 장치와, 사용자가 상기 대응성이 이루어졌음을 나타낼 때에 영상의 디스플레이스먼트를 결정하는 방법을 포함할 수 있다. 표시 디스플레이스먼트 맵의 획득 수단이 사용자 정렬에 근거하여 획득될 때에, 자동화된 정렬에 유용한 타겟은 적당하지 않을 수 있음을 유의해야 한다. 사용자의 눈은 고정된 위치에서 정렬될 수 없고, 또한, 사람의 뇌는 입체 표시에 관한 유사한 공간 구조를 갖는 타겟을 정렬하고자 시도할 것이기 때문에, 좌우 화면 상에 나타내어진 타겟은 공간 상호 연관성을 갖지 않도록 설계되어야 한다. 이를 달성하는 하나의 방법은 주로 한쪽 눈에 대해 수평선을 표시하고 다른쪽 눈에 대해 수직선을 표시하는 것이다. 수평 또는 수직선이 한쪽 눈에 표시되는 타겟을 이용하고, 또한, 사용자에게 다른쪽 눈에 표시된 선에서의 갭에 대해 상기 선을 정렬하도록 요청함으로써, 2개의 눈 영상 사이에 미소한 공간적 상호 연관성이 거의 존재하지 않으며, 사용자의 눈이 거의 자연적인 휴식점에 있을 때에 타겟이 사람의 2개의 망막 상에 동일한 장소에 오도록 조정할 수 있다.
표시 디스플레이스먼트 맵은 저장 장치(160)에 저장되고, 랜더링 처리기(130)에 입력으로서 사용될 것이다. 이 맵은 영상 처리기(120)로부터의 입력 영상을 처리하여, 표시 장치의 수평 오정렬뿐만 아니라 수직 오정렬을 보상하는 데 사용될 것이다.
이하, 도 2a를 참조하면, 본 발명의 영상 수직 오정렬 보정 방법의 흐름도가 도시되어 있다. 입체 가시화에서의 수직 오정렬 보정은 영상 등록(registration) 문제와 같이 모델화될 수 있다. 영상 등록의 절차는, 타겟의 동일한 특징점에 대응하는 2개의 공간 내의 점들이 서로 맵핑되도록, 한쪽 공간 내의 좌표(2차원 영상)와 다른쪽 공간 내의 좌표(다른 2차원 영상) 사이의 맵핑을 판단하는 것이다. 입체 가시화에서의 수직 오정렬 보정의 핵심은 입체 가시화 절차에 포함된 2개의 영상의 좌표 사이에서 맵핑을 결정하는 것이다. 2개의 좌표간의 맵핑을 판단하는 절차는 2개의 영상 내의 대응점의 수평 디스플레이스먼트 맵과 수직 디스플레이스먼트 맵을 제공한다. 그 후, 얻어진 수직 디스플레이스먼트 맵은 상기 포함된 영상의 적어도 하나를 변형하는 데 사용되어, 수직 오정렬을 최소화한다.
영상 등록 기술에 의하면, 입체 가시화에 포함된 2개의 영상은 소스 영상(220)과 참조 영상(222)으로 불리운다. 소스 영상과 참조 영상은, 각각, I(xt, yt, t)와 I(xt +1, yt +1, t+1)로 표시한다. 기호 x 및 y는 영상 좌표 시스템의 수평 및 수직 좌표이고, t는 영상 번호(영상 1, 영상 2, 등)이다. 영상 좌표 시스템의 원점(x=0, y=0)은 영상면의 중심을 나타낸다. 영상 좌표 x 및 y는 반드시 정수일 필요가 없음을 유의해야 한다.
구현의 편리를 위해 영상(또는 영상 픽셀)은 또한 I(i, j)로 표시되는데, 여기서 i 및 j는 반드시 정수이고 파라미터 t는 단순화를 위해 무시된다. 이러한 표시법은 이산 도메인에 있어서의 매트릭스를 번호 매김으로써 정렬된다. 영상이 높이 h와 폭 w를 가지면, 위치 (i, j)에서의 대응 영상면 좌표 x 및 y는 x=i-(w-1)/2.0 및 y=(h-1)/2.0-j로 계산될 수 있다. 열 번호 i는 0부터 w-1로 움직인다. 행 번호 j는 0부터 h-1로 움직인다.
통상, 등록 절차는 다음과 같은 최적 변환 함수 Φt+ 1(xt, yt)를 구하는 단계(단계 202 참조)를 포함한다.
Figure 112008051445797-PCT00001
식(10-1)의 변환 함수는 식(10-2)에 나타낸 요소를 가진 3×3 매트릭스이다.
Figure 112008051445797-PCT00002
사실, 변환 매트릭스는 2개의 부분, 회전 서브 매트릭스
Figure 112008051445797-PCT00003
과 평행 이동 벡터
Figure 112008051445797-PCT00004
으로 이루어진다.
변환 함수 Φ는 전역 함수 또는 국부 함수 중 하나임을 주의한다. 전역 함수 Φ는 동일한 방식으로 영상 내의 모든 픽셀을 변환한다. 이와 달리, 국부 함수 Φ는 픽셀의 위치에 근거하여 영상 내의 각각의 픽셀을 변환한다. 영상 등록의 임무를 위해서, 변환 함수 Φ는 전역 함수 또는 국부 함수, 혹은 이 둘의 조합일 수 있다.
특히, 변환 함수 Φ는 2개의 디스플레이스먼트 맵 X(i, j) 및 Y(i, j)를 생성하고, 이들은 소스 영상 내의 픽셀을 참조 영상 내의 대응 픽셀 위치로 정렬되는 새로운 위치에 보낼 수 있는 정보를 포함한다. 즉, 소스 영상은 공간적으로 보정되는 것이다.
인간 관찰자를 위한 입체 가시화의 경우에, 수직 방향에 있어서, 참조 영상 내의 대응 픽셀로 정렬되는 새로운 위치에 소스 영상 내의 픽셀을 보내는 데는 수직 디스플레이스먼트 맵 Y(i, j)(단계 204)만이 필요하다. 이러한 수직 정렬은 예를 들어 원근 왜곡으로 인한 다양한 수직 오정렬에 의해 야기되는 불편감을 보정할 것이다. 디스플레이스먼트 맵 Y(i, j)에 있어서, 열 번호 i는 0부터 w-1로 움직이고, 행 번호는 j는 0부터 h-1로 움직인다.
실제로는, 디스플레이스먼트 Y(i, j)를 이용하여 수직 오정렬의 보정을 일반화하기 위해서, 워킹(working) 디스플레이스먼트 맵 Yα(i, j)이 도입된다. 워킹 디스플레이스먼트 맵 Yα(i, j)는 다음과 같은 특정값의 사전 결정된 인자 α로 계산된다(단계 206).
Figure 112008051445797-PCT00005
여기서, 0≤α≤1이다. 그 후, 생성된 워킹 디스플레이스먼트 맵 Yα(i, j)는 소스 영상을 변형하는 데 사용되어(단계 208), 수직 오정렬이 보정된 소스 영상(224)을 획득한다. 워킹 디스플레이스먼트 Yα(i, j)의 도입은 필요에 따라 양쪽의 영상(왼쪽과 오른쪽)에 대한 수직 오정렬의 보정을 용이하게 한다. 양쪽 영상(왼쪽과 오른쪽)에 대한 수직 오정렬의 보정 절차를 이하에 설명한다.
입체 가시화에서의 수직 오정렬의 보정의 맥락과 관련하여, 소스 영상과 참조 영상의 역할은 2개의 영상(좌우 영상)에 대해서 교환될 수 있음이 분명하다.
일반적으로, 예컨대 원근 왜곡으로 인한 다양한 수직 오정렬에 의해 야기되는 불편감을 보정하기 위해서, 좌우 영상 양쪽은 특정값의 사전 결정된 인자 α로 계산된 워킹 디스플레이스먼트 맵 Yα(i, j)으로 공간적으로 보정될 수 있다.
도 2a에 도시된 바와 같이, 수직 오정렬 보정의 절차는 3개의 입력 단자 A(232), B(234), C(236), 및, 출력 단자 D(238)을 가진 박스(200)로 표시될 수 있다. 이러한 구성에 의하면, 왼쪽 영상(242)과 오른쪽 영상(244)의 양쪽에 대한 수직 오정렬 보정의 구조는 도 2b에 도시된 영상 처리 시스템(240)과 같이 구성될 수 있다. 영상 처리 시스템(204) 내에 2개의 동일한 박스(200)가 존재한다. 2개의 스케일링 인자 β(246)과 1-β(248)는 각각 왼쪽 영상(242)과 오른쪽 영상(244)에 대한 변형량을 판단하는 데 사용된다. 이들 2개의 파라미터 β(246)과 1-β(248)는 보정된 왼쪽 영상(243)과 보정된 오른쪽 영상(245)이 수직으로 정렬되는 것을 확실히 한다. β의 유효한 범위는 0≤β≤1이다. β=0일 때, 보정된 왼쪽 영상(243)은 입력된 왼쪽 영상(242)이고, 보정된 오른쪽 영상(245)은 입력된 왼쪽 영상(242)에 정렬된다. β=1일 때, 보정된 오른쪽 영상(245)은 입력된 오른쪽 영상(244)이고, 보정된 왼쪽 영상(243)은 입력된 오른쪽 영상(244)에 정렬된다. β≠0이고 β≠1일 때, 왼쪽 영상(242)과 오른쪽 영상(244)은 보정 절차를 거치고, 보정된 왼쪽 영상(243)과 보정된 오른쪽 영상(245)은 β의 값에 따라 왼쪽 영상(242)과 오른쪽 영상(244) 사이의 어딘가에서 정렬된다.
수직 오정렬 보정의 예시적인 결과를 도 3에 도시한다. 도 3에서, 왼쪽에는 소스 영상(302)이 있고, 오른쪽에는 참조 영상(304)이 있다. 명백하게, 소스 영상(302)과 참조 영상(304) 사이에는 열(column) 내에서 다양한 수직 오정렬이 존재한다. 이들 2개의 영상에 대해 도 2에 도시된 단계를 적용함으로써, 수직 오정렬이 보정된 소스 영상(306)이 얻어진다. 이러한 예시적 경우에, 파라미터 α는 1이다.
영상 변환 함수 Φ를 계산하는 데 사용되는 등록 알고리즘은 강체 등록 알고리즘, 비강체 등록 알고리즘 또는 2개의 조합일 수 있음을 주의한다. 당업자라면, 입체 영상 페어로부터의 명암 또는 거리를 판정하기 위해서, 상이한 시간 간격으로 캡처된 영상을 등록하거나, 또는 상이한 타겟의 수평 불일치를 평가하는 데 통상적으로 사용되는 무수한 등록 알고리즘이 존재함을 이해한다. 그러나, 이들 동일한 알고리즘은, 좌우 눈의 영상에 대해 수직 차원에서 상기 등록을 수행함으로써, 입체 가시화에서의 수직 오정렬의 보정을 위해 필요한 디스플레이스먼트 맵을 생성하는 변환 함수 Φ를 구하는 임무를 수행할 수 있다. 예시적인 등록 알고리즘은 http://www.itk.org에서 Ibanez.L. 외 저의 "Medical Visualization with ITK"에서 확인할 수 있다. 또한, 당업자라면, 디스플레이스먼트 맵을 가진 영상의 공간적 보정이 소정의 적합한 영상 보간 알고리즘("Robot Viosion" , Horn, B. 저, THE MIT Press, pp.322 및 323 참조)을 이용함으로써 실현될 수 있음을 이해한다.
영상 소스 디스플레이스먼트 맵의 형성 방법을 논의했으므로, 표시 디스플레이스먼트 맵의 판정 방법을 소개할 수 있다. 본 발명에서의 표시 시스템 오정렬을 보상하는 방법을 나타내는 흐름도인 도 4를 참조하면, 바람직한 방법은, 1쌍의 테스트 타겟을 표시하는 단계(410)와; 공간적으로 눈금 조정(calibration)된 1쌍의 카메라를 이용하여 통상적으로 수행되는, 좌우 영상을 캡처하는 단계(420)와; 캡처된 좌우 영상으로부터 표시 시스템 디스플레이스먼트 맵을 생성하는 단계(430)를 주로 포함하는 것을 알 수 있다. 이러한 정보는 컴퓨터에 저장되어, 입력된 입체 영상을 전처리하는 데 사용된다(440). 마지막 단계는 정렬된 영상을 디스플레이의 좌우 영상 채널에 대해 표시하는 것이다(450).
예시적 측정 시스템을 도 5에 도시한다. 이 시스템은 2개의 디지털 비디오 카메라 세트(530, 540)(예를 들어, SONY 컬러 비디오 카메라 CVX-V18NS), 통상의 컬러 모니터(560), 비디오 신호 혼합기(550)를 갖는다. 비디오 카메라는 테스트 타겟(510, 520)에 초점을 맞춘다. 좌우 채널로부터의 비디오 신호는 비디오 혼합기(550)를 이용하여 조합되어, 컬러 모니터(560)에 표시된다. 영상 캡처 이전에, 입체 디스플레이의 가정된 눈 사이의 거리(inter-ocular distance)에 맞는 수평 간격으로 카메라를 배치하고, 광학적 무한대에 위치한 단일 테스트 타겟에 양쪽 카메라를 향하도록 하여, 공간적 오정렬을 제거하도록 카메라 응답을 조절함으로써, 이들 카메라의 공간적 위치를 눈금 조정할 수 있다. 결과 영상이 비디오 혼합기에서 관찰될 수 있더라도, 2개의 테스트 타겟에 대한 각각의 눈금 조정점의 고해상도 캡처는 이후의 분석을 위해 디지털로 저장될 수 있다.
도 6은 1쌍의 예시적인 테스트 타겟(510, 520)을 나타낸다. 색을 제외하고는 동일하다. 예를 들면, 왼쪽 채널로 보내어진 타겟(510)은 빨강색이지만, 오른쪽 채널로 보내어진 타겟(520)은 초록색이다. 이는, 좌우 타겟 영상을 컬러 모니터(560) 상에서 시각적으로 분리할 수 있을 뿐만 아니라, 알고리즘적인 관점에서 확인할 수 있음을 확실히 하기 위한 것이다. 테스트 타겟(510, 520) 상에는 앵커 포인트(630, 635)가 존재한다. 이 시스템은 고정된 위치에서의 공간적 오정렬을 측정하는 데 사용된다. 비교되는 측정값에 있어서 공칭점이 없기 때문에, 측정값은 오른쪽 채널로부터 왼쪽 채널의 편차로서 구해진다. 왼쪽 위치가 오른쪽 위치의 오른편(Δx)이거나, 또는 오른쪽 위치의 위(Δy)이면 포지티브로 되도록 편차에 기호를 할당한다.
표시 디스플레이스먼트 맵의 예시적인 측정 결과를 도 7에 나타낸다. 영상(710)은 하나의 예시적인 입체 표시 시스템에서의 좌우 카메라로부터 겹쳐진 앵커 포인트의 영상이다. 최대 수평 편차가 왼쪽에서 발생하고 12픽셀의 크기를 가졌음을 나타낸다. 최대 수직 편차는 왼쪽 위의 코너에서 발생하고 8픽셀의 크기를 가졌다. 전체적으로 왼쪽 채널 영상은 오른쪽 채널 영상에 비해서 작다. 워핑 알고리즘은 입력된 입체 영상을 전처리함으로써 표시 시스템의 공간적 오정렬을 보상하는 데 사용될 수 있다. 이 알고리즘은 입력 영상과, 표시 시스템의 디스플레이스먼트 맵을 입력으로 한다. 출력은 변환된 영상 페어이며, 이는 관찰시에 표시 시스템으로부터의 소정의 수평 또는 수직 오정렬이 없는 것이다. 영상(720)은 오정렬에 대한 보정 후에 2개의 타겟 영상으로부터의 겹쳐진 앵커 포인트의 영상이다. 대부분의 앵커 위치에서 완벽한 정렬이 나타난다. 일부 앵커 위치(730)에서의 오차는 표시 시스템의 디지털 속성에 관련된 양자화 오차를 반영한다.
이하 도 8a를 참조하면, 본 발명의 표시 왜곡 오정렬의 방법에 관한 흐름도를 나타낸다. 표시 시스템에 의해 도입된 추가적인 오정렬을 보상하기 위해, 수직 오정렬이 보정된 소스 영상(224)에 본 방법을 적용한다. 본 방법은 소스 앵커 포인트(810)와 목적지 앵커 포인트(815)의 측정된 위치를 입력으로 한다. 소스 앵커 포인트는 소스 영상에 대응하는 입체 채널에서의 앵커 포인트의 측정된 위치를 나타내고, 목적지 앵커 포인트는 다른 입체 채널에서의 앵커 포인트의 측정된 위치를 나타낸다. 이 앵커 포인트는, 다른 입체 채널에서의 영상에 정렬되도록 소스 영상이 어떻게 워핑되어야 하는지를 특정하는 디스플레이스먼트 맵(820)을 생성하는 데 사용된다.
당업자라면, 일련의 소스 및 목적지 앵커 포인트에 근거하여 디스플레이먼트 맵을 생성하는 데 무수한 워핑 알고리즘이 존재한다는 것을 인지할 것이다. 대표적인 방법은 각 영상 내의 앵커 포인트를 선 성분의 격자에 연결하는, Beier, T.와 Neely, S., 저의 "Feature-Based Image Metamorphosis," Computer Graphics, Annual Conference Series, ACM SIGGRAPH, 1992년, pp.35-42에 기술된 선 성분에 기초한 워핑 방법을 채택하는 것이다. 다른 방법은 직접 앵커 포인트의 위치에 근거하여 개발되었다. 대표적인 기술은 Lee, S., Wolberg, G와 Shin, S. Y., 저의 "Scattered Data Interpolation with Multilevel B-Spline," IEEE Transactions on Visualization and Computer Graphics, Vol.3, No.3, 1997년, pp.228-244에 기술되어 있다.
수직 오정렬 보정의 경우에서와 같이, 디스플레이스먼트 맵 Z(i, j)를 이용하여 표시 오정렬의 보정을 일반화하기 위해서, 워킹 디스플레이스먼트 맵 Zα(i, j)이 도입된다. 워킹 디스플레이스먼트 맵 Zα(i, j)은 다음과 같이 특정값의 사전 결정된 인자 α로 계산된다(단계 830)
Figure 112008051445797-PCT00006
여기서, 0≤α≤1이다. 그 후, 생성된 워킹 디스플레이스먼트 맵 Zα(i, j)는 소스 영상을 변형(단계 840)하여, 워핑된 소스 영상(850)을 얻는 데 사용된다. 다른 실시예로서, 워킹 디스플레이스먼트 맵(206, 830)은 조합될 수 있고, 변형 동작(208, 840)은 상기 방법의 효율성을 개선하기 위해 단일 동작으로 줄어들 수 있다. 워킹 디스플레이스먼트 Zα(i, j)의 도입은 필요에 따른 양쪽 영상(왼쪽과 오른쪽)에 대한 표시 오정렬의 보정을 용이하게 한다. 양쪽 영상(왼쪽과 오른쪽)에 대한 표시 오정렬의 보정 절차를 이하에 설명한다.
도 8a에 도시된 바와 같이, 표시 왜곡 보정의 절차를 4개의 입력 단자 M(801), N(802), O(803), P(804), 및, 하나의 출력 단자 Q(805)를 갖는 박스(800)로 표시될 수 있다. 이러한 구성에 의하면, 수직 보정된 왼쪽 영상(243)과 수직 보정된 오른쪽 영상(245)의 양쪽에 대한 표시 오정렬 보정의 구조는 도 8b에 도시된 시스템(860)과 같이 구성될 수 있다. 시스템(860)은 2개의 동일한 박스(800)가 있다. 왼쪽 앵커 포인트(630)와 오른쪽 앵커 포인트(635)는 왼쪽 영상에서의 소스 및 목적지 앵커 포인트로서 사용되고, 오른쪽 앵커 포인트(635)와 왼쪽 앵커 포인트(630)는 오른쪽 영상에서의 소스 및 목적지 앵커 포인트로서 사용된다. 2개의 스케일링 인자 β(246)와 1-β(248)는 각각 왼쪽 영상(243)과 오른쪽 영상(245)에 대한 변형량을 결정하는 데 사용된다. 이들 2개의 파라미터 β(246)와 1-β(248)는, 워핑된 왼쪽 영상(870)과 오른쪽 영상(875)이, 표시 시스템에 의해 도입된 오정렬을 제거하는 대응 위치로 정렬되는 것을 확실히 한다. β의 유효한 범위는 0≤β≤1이다. β=0일 때, 워핑된 왼쪽 영상(870)은 보정된 입력 왼쪽 영상(243)이고, 워핑된 오른쪽 영상(875)은 보정된 입력 왼쪽 영상(243)에 정렬된다. β=1일 때, 워핑된 오른쪽 영상(875)은 보정된 입력 오른쪽 영상(245)이고, 워핑된 왼쪽 영상(870)은 보정된 입력 오른쪽 영상(245)에 정렬된다. β≠0이고 β≠1일 때, 왼쪽 영상(243)과 오른쪽 영상(245)의 양쪽은 보정 절차를 거치고, 워핑된 왼쪽 영상(870)과 워핑된 오른쪽 영상(875)은, β의 값에 따라 왼쪽 영상(243)과 오른쪽 영상(245) 사이의 어딘가에서 정렬된다.
앞서 기술된 영상 소스 디스플레이스먼트 맵과, 표시 디스플레이스먼트 맵의 양쪽을 적용함으로써, 소스 영상에서의 수직 오정렬과, 표시 시스템에서의 결함으로 인한 수직 및 수평 오정렬의 양쪽을 실질적으로 제거할 수 있다. 비록 이것들을 개별적으로 각각 적용할 수 있는 것이 바람직하지만, 하나의 시스템 내에서 그것들을 가능하게 하여 및 적용하는 것이 바람직하다. 또한, 여기서 참조로 포함된 미국 특허 제6,191,809호 및 유럽특허 1 235 439 A2에 개시된 바와 같이, 다른 수단에 근거하여 형성된 영상 소스 디스플레이스먼트 맵과 더불어, 여기서 개시된 바와 같은 표시 디스플레이스먼트 맵을 적용할 수 있다.
부호 목록
110: 영상 소스, 120: 영상 처리기, 130: 랜더링 처리기, 140: 입체 표시 장치, 150: 표시 디스플레이스먼트 맵의 획득 수단, 160: 저장 장치, 200: 영상 수직 오정렬 보정 절차, 202: 영상 변환 함수를 계산하는 단계, 204: 수직 디스플레이스먼트 맵을 생성하는 단계, 206: 디스플레이스먼트 맵을 계산하는 단계, 208: 영상을 변형하는 단계, 210: 사전 결정된 인자, 220: 소스 영상, 222: 참조 영상, 224: 수직 오정렬이 보정된 소스 영상, 232: 입력 단말 A, 234: 입력 단말 B, 236: 입력 단말 C, 238: 출력 단말 D, 240: 영상 처리 시스템, 242: 왼쪽 영상, 243: 보정된 왼쪽 영상, 244: 오른쪽 영상, 245: 보정된 오른쪽 영상, 246: 스케일링 인자 β, 248: 스케일링 인자 1-β, 302: 소스 영상, 304: 참조 영상, 306: 보정된 소스 영상, 410: 테스트 타겟을 표시하는 단계, 420: 왼쪽/오른쪽 영상을 캡처하는 단계, 430: 표시 시스템 디스플레이스먼트 맵을 생성하는 단계, 440: 입력 영상을 전처리하는 단계, 450: 정렬된 영상을 표시하는 단계, 510: 왼쪽 테스트 타겟, 520: 오른쪽 테스트 타겟, 530: 왼쪽 디지털 비디오 카메라, 540: 오른쪽 디지털 비디오 카메라, 550: 비디오 신호 혼합기, 560: 컬러 모니터, 630: 왼쪽 영상 앵커 포인트, 635: 오른쪽 영상 앵커 포인트, 710: 보정 전에 겹쳐진 앵커 포인트의 영상, 720: 보정 후의 겹쳐진 앵커 포인트의 영상, 730: 앵커 위치, 800: 표시 오정렬 보정의 절차, 801: 입력 단말 M, 802: 입력 단말 N, 803: 입력 단말 O, 804: 입력 단말 P, 805: 출력 단말 Q, 810: 소스 앵커 포인트 위치, 815: 목적지 앵커 포인트 위치, 820: 디스플레이스먼트 맵, 830: 사전 결정된 인자를 갖는 디스플레이스먼트 맵을 계산, 840: 소스 영상을 보정(변형), 850: 워핑된 소스 영상, 860: 시스템, 870: 워핑된 왼쪽 영상, 875: 워핑된 오른쪽 영상

Claims (16)

  1. 입체(stereoscopic) 표시 시스템에서의 오정렬(misalignment) 보정 방법으로서,
    영상 처리기에 1쌍의 입력 영상을 제공하는 단계와,
    상기 1쌍의 입력 영상에 대한 영상 소스 디스플레이스먼트 맵(an image source displacement map)을 생성하는 단계와,
    표시 디스플레이스먼트 맵을 획득하는 단계와,
    상기 영상 소스 디스플레이스먼트 맵과 상기 표시 디스플레이스먼트 맵을 상기 1쌍의 입력 영상에 적용하여, 보정된 입체 영상 페어(a rectified stereoscopic image pair)를 생성하는 단계
    를 포함하는 입체 표시 시스템에서의 오정렬 보정 방법.
  2. 제 1 항에 있어서,
    상기 소스 디스플레이스먼트 맵과 상기 표시 디스플레이스먼트 맵은 시스템 디스플레이스먼트 맵으로 결합되고, 상기 시스템 디스플레이스먼트 맵은 상기 1쌍의 입력 영상에 적용되어, 상기 보정된 입체 영상 페어를 생성하는 입체 표시 시스템에서의 오정렬 보정 방법.
  3. 제 1 항에 있어서,
    상기 영상 소스 디스플레이스먼트 맵과 상기 표시 디스플레이스먼트 맵은 상기 1쌍의 입력 영상에 개별적으로 적용되어, 상기 보정된 입체 영상 페어를 생성하는 입체 표시 시스템에서의 오정렬 보정 방법.
  4. 제 1 항에 있어서,
    상기 표시 디스플레이스먼트 맵을 획득하는 단계는, 하나 이상의 테스트 타겟을 상기 표시 장치에 표시하는 단계와, 상기 하나 이상의 테스트 타겟의 부분들의 정렬을 결정하는 단계를 포함하는 입체 표시 시스템에서의 오정렬 보정 방법.
  5. 제 4 항에 있어서,
    상기 하나 이상의 테스트 타겟은 표시되는 왼쪽과 오른쪽 눈 성분으로 이루어지고, 사용자가 왼쪽과 오른쪽 눈의 영상 중 하나 이상의 부분의 인지된 정렬에 대해 시스템으로 피드백을 제공하여, 상기 표시 디스플레이스먼트 맵을 생성하는 입체 표시 시스템에서의 오정렬 보정 방법.
  6. 제 4 항에 있어서,
    광학 장치는 기지된 정렬의 좌우 눈의 시야를 캡처하고, 그 결과적인 영상은 상기 좌우 눈의 시야 내의 피처(feature)의 정렬을 결정하도록 처리되어, 상기 표시 디스플레이스먼트 맵을 생성하는 입체 표시 시스템에서의 오정렬 보정 방법.
  7. 영상 소스, 영상 처리 요소, 및 디스플레이를 포함하는 입체 표시 시스템으로서,
    상기 영상 처리 요소는 청구항 1에 기재된 방법을 채용하여 상기 디스플레이 상에 보정된 입체 영상 페어를 생성하는 입체 표시 시스템.
  8. 입체 표시 시스템에서의 오정렬 보정 방법으로서,
    영상 처리기에 1쌍의 입력 영상을 제공하는 단계와,
    영상 소스 디스플레이스먼트 맵을 생성하는 단계와,
    상기 영상 소스 디스플레이스먼트 맵을 적용하여 상기 1쌍의 입력 영상에서의 수직 오정렬을 보정하는 단계
    를 포함하는 입체 표시 시스템에서의 오정렬 보정 방법.
  9. 제 8 항에 있어서,
    상기 영상 소스 디스플레이스먼트 맵을 생성하는 단계는,
    상기 1쌍의 입력 영상에 대한 영상 변환 함수를 계산하는 단계와,
    상기 계산된 변환 함수를 이용하여 수직 디스플레이스먼트 맵을 생성하는 단계와,
    상기 1쌍의 입력 영상에 대한 워킹(working) 디스플레이스먼트 맵을 계산하는 단계
    를 포함하는 입체 표시 시스템에서의 오정렬 보정 방법.
  10. 제 8 항에 있어서,
    상기 영상 소스 디스플레이스먼트 맵을 적용하여 상기 1쌍의 입력 영상에서의 수직 오정렬을 보정하는 단계는, 계산된 워킹 디스플레이스먼트 맵을 이용하여 상기 1쌍의 입력 영상을 변형하는 단계를 포함하는 입체 표시 시스템에서의 오정렬 보정 방법.
  11. 영상 소스, 영상 처리 요소, 및 영상 출력을 포함하는 영상 처리 시스템으로서,
    상기 영상 처리 요소는 청구항 8에 기재된 방법을 채용하여, 보정된 입체 영상 페어를 생성하는 영상 처리 시스템.
  12. 입체 표시 시스템에서의 오정렬 보정 방법으로서,
    영상 처리기에 1쌍의 입력 영상을 제공하는 단계와,
    표시 디스플레이스먼트 맵을 획득하는 단계와,
    상기 1쌍의 입력 영상에 상기 표시 디스플레이스먼트 맵을 적용하여 보정된 입체 표시를 형성하는 단계
    를 포함하는 입체 표시 시스템에서의 오정렬 보정 방법.
  13. 제 12 항에 있어서,
    상기 표시 디스플레이스먼트 맵을 획득하는 단계는,
    왼쪽과 오른쪽 타겟을 표시하는 단계와,
    상기 왼쪽과 오른쪽 타겟 내의 피처의 오정렬을 결정하여, 표시 디스플레이스먼트 맵을 생성하는 단계와,
    상기 1쌍의 입력 영상에 상기 표시 디스플레이스먼트 맵을 적용하여, 보정된 입체 표시를 형성하는 단계
    를 포함하는 입체 표시 시스템에서의 오정렬 보정 방법.
  14. 제 13 항에 있어서,
    상기 하나 이상의 테스트 타겟은 표시되는 왼쪽과 오른쪽 눈 성분으로 이루어지고, 사용자가 왼쪽과 오른쪽 눈의 영상 중 하나 이상의 부분의 인지된 정렬에 대해 시스템으로 피드백을 제공하여, 상기 표시 디스플레이스먼트 맵을 생성하는 입체 표시 시스템에서의 오정렬 보정 방법.
  15. 제 13 항에 있어서,
    기지된 정렬의 광학 장치가 좌우 눈의 시야를 캡처하는 데 사용되고, 그 결과적인 영상은 상기 좌우 눈의 시야 내의 피처의 정렬을 결정하도록 처리되어, 상기 표시 디스플레이스먼트 맵을 생성하는 입체 표시 시스템에서의 오정렬 보정 방법.
  16. 영상 소스, 영상 처리 요소, 및 디스플레이를 포함하는 입체 표시 시스템으로서,
    영상 처리 요소는 청구항 13에 기재된 방법을 채용하여 상기 디스플레이 상에 보정된 입체 영상 페어를 생성하는 입체 표시 시스템.
KR1020087017445A 2006-01-18 2007-01-04 입체 표시 시스템에서의 오정렬 보정 방법, 입체 표시시스템 및 영상 처리 시스템 KR20080085044A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/334,275 US20070165942A1 (en) 2006-01-18 2006-01-18 Method for rectifying stereoscopic display systems
US11/334,275 2006-01-18

Publications (1)

Publication Number Publication Date
KR20080085044A true KR20080085044A (ko) 2008-09-22

Family

ID=38171589

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087017445A KR20080085044A (ko) 2006-01-18 2007-01-04 입체 표시 시스템에서의 오정렬 보정 방법, 입체 표시시스템 및 영상 처리 시스템

Country Status (6)

Country Link
US (1) US20070165942A1 (ko)
EP (1) EP1974550A2 (ko)
JP (1) JP2009524349A (ko)
KR (1) KR20080085044A (ko)
CN (1) CN101371593A (ko)
WO (1) WO2007084267A2 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120030005A (ko) * 2010-09-16 2012-03-27 소니 주식회사 화상 처리 장치 및 방법과 입체 화상 표시 장치
KR101272571B1 (ko) * 2011-11-11 2013-06-10 재단법인대구경북과학기술원 지능형 자동차의 스테레오 비전 시스템에 대한 시뮬레이션 장치 및 이를 이용한 카메라 교정 방법
KR20160042694A (ko) * 2014-10-10 2016-04-20 주식회사 만도 스테레오 카메라의 정렬장치 및 스테레오 카메라의 정렬방법
KR20160042738A (ko) * 2014-10-11 2016-04-20 수퍼디 컴퍼니 리미티드 입체 표시 장치 검출 시스템 및 그 검출 방법
US9961322B2 (en) 2011-12-09 2018-05-01 Lg Innotek Co., Ltd. Apparatus and method for eliminating noise in stereo image
WO2019013443A1 (ko) * 2017-07-10 2019-01-17 삼성전자(주) 디스플레이장치 및 그 제어방법

Families Citing this family (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1643906A2 (en) * 2003-06-12 2006-04-12 University of Utah Research Foundation Apparatus, systems and methods for diagnosing carpal tunnel syndrome
US8872754B2 (en) * 2006-03-29 2014-10-28 Nvidia Corporation System, method, and computer program product for controlling stereo glasses shutters
US8169467B2 (en) 2006-03-29 2012-05-01 Nvidia Corporation System, method, and computer program product for increasing an LCD display vertical blanking interval
US20070248260A1 (en) * 2006-04-20 2007-10-25 Nokia Corporation Supporting a 3D presentation
CN101822049B (zh) * 2007-10-13 2013-04-24 三星电子株式会社 基于轻便应用场景表现在终端上提供立体三维图像/视频内容的装置和方法
JP5298507B2 (ja) * 2007-11-12 2013-09-25 セイコーエプソン株式会社 画像表示装置及び画像表示方法
US8199995B2 (en) * 2008-01-29 2012-06-12 Carestream Health, Inc. Sensitometric response mapping for radiological images
JP5561781B2 (ja) * 2008-01-29 2014-07-30 トムソン ライセンシング ２ｄ画像データを立体画像データに変換する方法およびシステム
JP5500066B2 (ja) * 2008-04-03 2014-05-21 Ｎｌｔテクノロジー株式会社 画像処理方法、画像処理装置及びプログラム
US8169468B2 (en) * 2008-04-26 2012-05-01 Intuitive Surgical Operations, Inc. Augmented stereoscopic visualization for a surgical robot
US8355042B2 (en) 2008-10-16 2013-01-15 Spatial Cam Llc Controller in a camera for creating a panoramic image
US10585344B1 (en) 2008-05-19 2020-03-10 Spatial Cam Llc Camera system with a plurality of image sensors
US11119396B1 (en) 2008-05-19 2021-09-14 Spatial Cam Llc Camera system with a plurality of image sensors
JP4852591B2 (ja) * 2008-11-27 2012-01-11 富士フイルム株式会社 立体画像処理装置、方法及び記録媒体並びに立体撮像装置
KR101095670B1 (ko) * 2009-07-06 2011-12-19 (주) 비전에스티 스테레오 카메라의 고속 칼리브레이션 및 렉티피케이션 방법 및 장치
US9380292B2 (en) 2009-07-31 2016-06-28 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating three-dimensional (3D) images of a scene
WO2011014419A1 (en) * 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for creating three-dimensional (3d) images of a scene
US20110025830A1 (en) * 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation
JP2013509804A (ja) * 2009-10-30 2013-03-14 ヒューレット−パッカード デベロップメント カンパニー エル．ピー． 立体表示システム
US9445072B2 (en) 2009-11-11 2016-09-13 Disney Enterprises, Inc. Synthesizing views based on image domain warping
US8711204B2 (en) * 2009-11-11 2014-04-29 Disney Enterprises, Inc. Stereoscopic editing for video production, post-production and display adaptation
US10095953B2 (en) 2009-11-11 2018-10-09 Disney Enterprises, Inc. Depth modification for display applications
EP2354893B1 (en) * 2009-12-31 2018-10-24 Sony Interactive Entertainment Europe Limited Reducing inertial-based motion estimation drift of a game input controller with an image-based motion estimation
GB2478164A (en) * 2010-02-26 2011-08-31 Sony Corp Calculating misalignment between a stereoscopic image pair based on feature positions
US20110249889A1 (en) * 2010-04-08 2011-10-13 Sreenivas Kothandaraman Stereoscopic image pair alignment apparatus, systems and methods
JP5683025B2 (ja) * 2010-04-19 2015-03-11 パナソニックＩｐマネジメント株式会社 立体画像撮影装置および立体画像撮影方法
JP5573379B2 (ja) * 2010-06-07 2014-08-20 ソニー株式会社 情報表示装置および表示画像制御方法
KR20110137607A (ko) * 2010-06-17 2011-12-23 삼성전자주식회사 디스플레이 장치 및 그 3ｄ 영상 인식 진단 방법
CN102340636B (zh) * 2010-07-14 2013-10-16 深圳Tcl新技术有限公司 一种立体画面自适应显示方法
US8571350B2 (en) * 2010-08-26 2013-10-29 Sony Corporation Image processing system with image alignment mechanism and method of operation thereof
GB2483431A (en) * 2010-08-27 2012-03-14 Sony Corp A Method and Apparatus for Determining the Movement of an Optical Axis
US8922633B1 (en) 2010-09-27 2014-12-30 Given Imaging Ltd. Detection of gastrointestinal sections and transition of an in-vivo device there between
US8965079B1 (en) 2010-09-28 2015-02-24 Given Imaging Ltd. Real time detection of gastrointestinal sections and transitions of an in-vivo device therebetween
US9094678B1 (en) 2010-09-29 2015-07-28 Nvidia Corporation System, method, and computer program product for inverting a polarity of each cell of a display device
US9094676B1 (en) 2010-09-29 2015-07-28 Nvidia Corporation System, method, and computer program product for applying a setting based on a determined phase of a frame
US9185388B2 (en) 2010-11-03 2015-11-10 3Dmedia Corporation Methods, systems, and computer program products for creating three-dimensional video sequences
FR2967324B1 (fr) * 2010-11-05 2016-11-04 Transvideo Procede et dispositif de controle du dephasage entre cameras stereoscopiques
US10200671B2 (en) 2010-12-27 2019-02-05 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
WO2012092246A2 (en) 2010-12-27 2012-07-05 3Dmedia Corporation Methods, systems, and computer-readable storage media for identifying a rough depth map in a scene and for determining a stereo-base distance for three-dimensional (3d) content creation
US8274552B2 (en) 2010-12-27 2012-09-25 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
CN102170576A (zh) * 2011-01-30 2011-08-31 中兴通讯股份有限公司 双摄像头立体拍摄的处理方法及装置
JP5807354B2 (ja) * 2011-03-22 2015-11-10 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
GB2489931A (en) * 2011-04-08 2012-10-17 Sony Corp Analysis of 3D video to detect frame violation within cropped images
CN102821287A (zh) * 2011-06-09 2012-12-12 承景科技股份有限公司 立体影像校正***及方法
US20130038684A1 (en) * 2011-08-11 2013-02-14 Nvidia Corporation System, method, and computer program product for receiving stereoscopic display content at one frequency and outputting the stereoscopic display content at another frequency
US9129378B2 (en) * 2011-09-07 2015-09-08 Thomson Licensing Method and apparatus for recovering a component of a distortion field and for determining a disparity field
US20130163854A1 (en) * 2011-12-23 2013-06-27 Chia-Ming Cheng Image processing method and associated apparatus
US9164288B2 (en) 2012-04-11 2015-10-20 Nvidia Corporation System, method, and computer program product for presenting stereoscopic display content for viewing with passive stereoscopic glasses
CN102759848B (zh) * 2012-06-11 2015-02-04 海信集团有限公司 一种投影显示***、投影设备及投影显示方法
US20140003706A1 (en) * 2012-07-02 2014-01-02 Sony Pictures Technologies Inc. Method and system for ensuring stereo alignment during pipeline processing
US9013558B2 (en) * 2012-07-02 2015-04-21 Sony Corporation System and method for alignment of stereo views
CN103713387A (zh) * 2012-09-29 2014-04-09 联想(北京)有限公司 电子设备和采集方法
US9560343B2 (en) 2012-11-23 2017-01-31 Samsung Electronics Co., Ltd. Apparatus and method for calibrating multi-layer three-dimensional (3D) display
US9384551B2 (en) * 2013-04-08 2016-07-05 Amazon Technologies, Inc. Automatic rectification of stereo imaging cameras
US9571812B2 (en) 2013-04-12 2017-02-14 Disney Enterprises, Inc. Signaling warp maps using a high efficiency video coding (HEVC) extension for 3D video coding
US9324145B1 (en) 2013-08-08 2016-04-26 Given Imaging Ltd. System and method for detection of transitions in an image stream of the gastrointestinal tract
US20150103162A1 (en) * 2013-10-14 2015-04-16 Etron Technology, Inc. System of quickly generating a relationship table of distance to disparity of a camera and related method thereof
US9229228B2 (en) * 2013-12-11 2016-01-05 Honeywell International Inc. Conformal capable head-up display
CN104933755B (zh) * 2014-03-18 2017-11-28 华为技术有限公司 一种静态物体重建方法和***
KR102224716B1 (ko) 2014-05-13 2021-03-08 삼성전자주식회사 스테레오 소스 영상 보정 방법 및 장치
JP6353289B2 (ja) * 2014-06-23 2018-07-04 株式会社Ｓｏｋｅｎ 測距補正装置
US10459224B2 (en) 2014-09-29 2019-10-29 Honeywell International Inc. High transmittance eyewear for head-up displays
US9606355B2 (en) 2014-09-29 2017-03-28 Honeywell International Inc. Apparatus and method for suppressing double images on a combiner head-up display
US9997199B2 (en) * 2014-12-05 2018-06-12 Warner Bros. Entertainment Inc. Immersive virtual reality production and playback for storytelling content
KR101729164B1 (ko) * 2015-09-03 2017-04-24 주식회사 쓰리디지뷰아시아 멀티 구 교정장치를 이용한 멀티 카메라 시스템의 이미지 보정 방법
KR101729165B1 (ko) 2015-09-03 2017-04-21 주식회사 쓰리디지뷰아시아 타임 슬라이스 영상용 오차교정 유닛
US10082865B1 (en) * 2015-09-29 2018-09-25 Rockwell Collins, Inc. Dynamic distortion mapping in a worn display
US20170171456A1 (en) * 2015-12-10 2017-06-15 Google Inc. Stereo Autofocus
CN106600573B (zh) * 2016-12-27 2020-07-14 宁波视睿迪光电有限公司 一种图像处理方法
US10964034B1 (en) * 2019-10-30 2021-03-30 Nvidia Corporation Vertical disparity detection in stereoscopic images from optical flow data

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU1742895A (en) * 1994-06-09 1996-01-04 Kollmorgen Instrument Corporation Stereoscopic electro-optical system for automated inspection and/or alignment of imaging devices on a production assembly line
WO1998003021A1 (en) * 1996-06-28 1998-01-22 Sri International Small vision module for real-time stereo and motion analysis
US6191809B1 (en) * 1998-01-15 2001-02-20 Vista Medical Technologies, Inc. Method and apparatus for aligning stereo images
JP4235291B2 (ja) * 1998-10-02 2009-03-11 キヤノン株式会社 立体映像システム
US6720988B1 (en) * 1998-12-08 2004-04-13 Intuitive Surgical, Inc. Stereo imaging system and method for use in telerobotic systems
US6671399B1 (en) * 1999-10-27 2003-12-30 Canon Kabushiki Kaisha Fast epipolar line adjustment of stereo pairs
US6674892B1 (en) * 1999-11-01 2004-01-06 Canon Kabushiki Kaisha Correcting an epipolar axis for skew and offset
JP2001339742A (ja) * 2000-03-21 2001-12-07 Olympus Optical Co Ltd 立体映像プロジェクション装置、及びその補正量演算装置
GB2372659A (en) * 2001-02-23 2002-08-28 Sharp Kk A method of rectifying a stereoscopic image
EP1470727A2 (en) * 2002-01-04 2004-10-27 Neurok, LLC Three-dimensional image projection employing retro-reflective screens
US7209161B2 (en) * 2002-07-15 2007-04-24 The Boeing Company Method and apparatus for aligning a pair of digital cameras forming a three dimensional image to compensate for a physical misalignment of cameras
US7489445B2 (en) * 2003-01-29 2009-02-10 Real D Convertible autostereoscopic flat panel display
JP4677175B2 (ja) * 2003-03-24 2011-04-27 シャープ株式会社 画像処理装置、画像撮像システム、画像表示システム、画像撮像表示システム、画像処理プログラム、及び画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体
US8094927B2 (en) * 2004-02-27 2012-01-10 Eastman Kodak Company Stereoscopic display system with flexible rendering of disparity map according to the stereoscopic fusing capability of the observer

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120030005A (ko) * 2010-09-16 2012-03-27 소니 주식회사 화상 처리 장치 및 방법과 입체 화상 표시 장치
KR101272571B1 (ko) * 2011-11-11 2013-06-10 재단법인대구경북과학기술원 지능형 자동차의 스테레오 비전 시스템에 대한 시뮬레이션 장치 및 이를 이용한 카메라 교정 방법
US9961322B2 (en) 2011-12-09 2018-05-01 Lg Innotek Co., Ltd. Apparatus and method for eliminating noise in stereo image
KR20160042694A (ko) * 2014-10-10 2016-04-20 주식회사 만도 스테레오 카메라의 정렬장치 및 스테레오 카메라의 정렬방법
KR20160042738A (ko) * 2014-10-11 2016-04-20 수퍼디 컴퍼니 리미티드 입체 표시 장치 검출 시스템 및 그 검출 방법
WO2019013443A1 (ko) * 2017-07-10 2019-01-17 삼성전자(주) 디스플레이장치 및 그 제어방법

Also Published As

Publication number Publication date
WO2007084267A3 (en) 2007-09-13
US20070165942A1 (en) 2007-07-19
WO2007084267A2 (en) 2007-07-26
JP2009524349A (ja) 2009-06-25
CN101371593A (zh) 2009-02-18
EP1974550A2 (en) 2008-10-01

Similar Documents

Publication Publication Date Title
KR20080085044A (ko) 입체 표시 시스템에서의 오정렬 보정 방법, 입체 표시시스템 및 영상 처리 시스템
CN110809786B (zh) 校准装置、校准图表、图表图案生成装置和校准方法
JP3745117B2 (ja) 画像処理装置及び画像処理方法
US9792684B2 (en) System and method for imaging device modelling and calibration
JP4790086B2 (ja) 多眼撮像装置および多眼撮像方法
JP5238429B2 (ja) 立体映像撮影装置および立体映像撮影システム
TWI324280B (en) Image signal processing apparatus and virtual reality creating system
JP5308523B2 (ja) 立体画像表示装置
US8189035B2 (en) Method and apparatus for rendering virtual see-through scenes on single or tiled displays
US7583307B2 (en) Autostereoscopic display
JP2017531976A (ja) アレイカメラを動的に較正するためのシステム及び方法
JPH07287761A (ja) 画像処理装置及び画像処理方法
JP2006113807A (ja) 多視点画像の画像処理装置および画像処理プログラム
KR100897542B1 (ko) 임의 시점 영상 합성 시 영상 보정 방법 및 장치
Nozick Multiple view image rectification
JP7326442B2 (ja) 広角画像からの視差推定
CN112995638A (zh) 自动调节视差的裸眼3d采集和显示***及方法
JP7261642B2 (ja) 画像処理方法、画像処理装置、およびヘッドマウントディスプレイ
US10148931B2 (en) Three-dimensional video image display processing device, video information recording medium, video information providing server, and recording medium storing a program
EP3048581B1 (en) Image processing apparatus, system, image processing method, calibration method, and computer-readable recording medium
JPH08201941A (ja) ３次元画像形成方法
JP6626367B2 (ja) 立体像調整装置及び立体像調整方法
JP2010135966A (ja) 映像信号処理装置
JP2003052057A (ja) 映像変換による立体視映像生成装置
JP3357754B2 (ja) 疑似ステレオ画像生成方法及び疑似ステレオ画像生成装置

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid