KR20040018858A - 시각 피로 감소를 위한 스테레오 영상의 초점심도 조정장치 및 그 방법 - Google Patents

시각 피로 감소를 위한 스테레오 영상의 초점심도 조정장치 및 그 방법 Download PDF

Info

Publication number
KR20040018858A
KR20040018858A KR1020020050937A KR20020050937A KR20040018858A KR 20040018858 A KR20040018858 A KR 20040018858A KR 1020020050937 A KR1020020050937 A KR 1020020050937A KR 20020050937 A KR20020050937 A KR 20020050937A KR 20040018858 A KR20040018858 A KR 20040018858A
Authority
KR
South Korea
Prior art keywords
image
stereo
depth
filtering
variation
Prior art date
Application number
KR1020020050937A
Other languages
English (en)
Inventor
엄기문
안치득
스퍼렌자필립보
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020020050937A priority Critical patent/KR20040018858A/ko
Publication of KR20040018858A publication Critical patent/KR20040018858A/ko

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/34—Stereoscopes providing a stereoscopic pair of separated images corresponding to parallactically displaced views of the same object, e.g. 3D slide viewers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/50—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)

Abstract

1. 청구범위에 기재된 발명이 속한 기술분야
본 발명은 시각 피로 감소를 위한 스테레오 영상의 초점심도 조정 장치 및 그 방법에 관한 것임.
2. 발명이 해결하려고 하는 기술적 과제
본 발명은, 두 대의 카메라에 의해 취득된 영상으로부터 변이 정보를 구하고, 이 변이 정보를 바탕으로 인간의 초점심도(Depth of field) 범위를 벗어나는 영역을 필터링함으로써, 입체 영상의 시청 시에 발생하는 시각 피로 현상을 줄이기 위한 스테레오 영상의 초점심도 조정 장치 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하고자 함.
3. 발명의 해결방법의 요지
본 발명은, 시각 피로 감소를 위한 스테레오 영상의 초점심도(depth of field) 조정 장치에 있어서, 카메라를 통해 촬상된 스테레오 좌우 영상을 입력받기 위한 영상입력수단; 상기 스테레오 좌우 영상 중 초점심도 필터링을 수행할 기준영상을 선택하고, 선택된 기준영상을 기준으로 대상영상에 대한 변이를 계산하여 기준영상의 변이지도를 생성하기 위한 변이지도 생성수단; 상기 변이지도를 바탕으로 상기 기준영상 중 초점심도를 벗어나는 영역을 몽롱화(blurring)시키는 필터링을 수행하기 위한 영상필터링수단; 및 상기 영상필터링수단을 통해 필터링된 기준영상과 상기 영상입력수단을 통해 전달된 필터링되지 않은 대상영상을 합성하여 3차원영상으로 출력하기 위한 영상출력수단을 포함함.
4. 발명의 중요한 용도
본 발명은 3차원 영상 디스플레이용 초점심도 조정 장치 등에 이용됨.

Description

시각 피로 감소를 위한 스테레오 영상의 초점심도 조정 장치 및 그 방법{Depth of field adjustment apparatus and method of stereo image for reduction of visual fatigue}
본 발명은 시각 피로 감소를 위한 스테레오 영상의 초점심도(depth of field) 조정 장치 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것으로, 특히 기존의 양안식 스테레오 카메라에 의해 취득된 스테레오 동영상을 3차원으로 디스플레이할 때 큰 값의 변이에 의해 관찰자가 느끼는 시각 피로 현상을 줄이기 위한 스테레오 영상의 초점심도 조정 장치 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.
컴퓨터 기술과 디지털 방송 기술의 발전으로 고해상도의 HDTV에 이어 3DTV (3차원 TV) 방송 기술에 대한 연구가 최근 많이 이뤄지고 있다. 3차원 방송 시스템의 구성과 원리를 안경식 3DTV 방송 시스템을 예로 들어 간단히 설명하면 다음과 같다.
먼저, 보통 2대의 카메라를 이용하여 각각 영상을 취득한다. 이때, 각 카메라는 카메라 장치의 종류에 따라 두 카메라를 평행하게 배열하거나 두 카메라를 3차원 상의 하나의 점으로 수렴하도록 배열할 수 있다. 이렇게 취득된 두 장의 서로 다른 위치에서 촬영한 두 영상을 비디오 카세트 리코더(VCR : Video Cassette Recorder)에 기록하거나, 또는 다중화기를 통하여 다중화한 후 인코딩하여 전송한 다음, 이를 수신기를 통하여 수신한 다음 두 영상을 하나의 모니터나 프로젝터 화면에 순차적으로 또는 겹치게 디스플레이하여 시청자로 하여금 안경을 쓰고 영상을볼 때 깊이를 느낄 수 있도록 한다. 인간이 느끼게 되는 깊이 정보는 3차원 상의 동일 지점이 좌우 스테레오카메라에 촬영되어 좌우 영상 위에 투영되는 위치가 서로 달라짐에 따라 발생하는 좌우 스테레오 영상 상의 한 지점에 대한 위치의 차이인 변이 정보(Disparity)를 인간의 뇌에서 합성하여 3차원적인 깊이 감을 느끼게 된다.
그러나, 실제 환경에서 인간의 시각 시스템은 도 1에서 제시한 바와 같이 관찰되는 장면 영상의 화질 저하 없이도 자연스럽게 볼 수 있는 범위인 초점심도(Depth of field)가 한정되어 있어 어떤 물체의 3차원 공간 위치가 관찰자가 현재 주시하고 있는, 다른 물체의 3차원 공간 위치로부터 앞 또는 뒤의 방향으로 일정 거리를 벗어나게 되면, 인간의 시각 시스템은 그 물체를 몽롱화(Blurring)시켜 보게 된다. 또한, 인간 시각의 눈동자는 지금 주시(Fixating)하고 있는 물체의 중심 쪽으로 각도를 조정하여 보게 된다.
한편, 현재의 안경식 양안 스테레오 입체 디스플레이 기술은 시청자로 하여금 초점과 주시점을 분리시켜 3차원 영상을 시청하도록 요구한다. 즉, 도 1에서 제시한 바와 같이 현재 주시하고 있는 위치에 관계없이 시청자의 눈은 초점이 맞춰진 영상을 보기 위해 디스플레이 화면 상에 초점을 맞추게 된다. 이로 인해 디스플레이 된 3차원 영상이 모든 영역이 전혀 몽롱화되지 않은 영상일 경우, 시청자의 망막에는 화질 저하없이 볼 수 있는 초점심도 깊이의 범위를 벗어난 3차원 공간 상의 위치(깊이)를 가지는 물체의 영상까지도 몽롱화없는 상태로 맺히게 되고 이는 자연스러운 인간의 시각 환경에 맞지 않으므로, 시각 피로를 유발하게 된다. 이를초점-주시의 일치 파괴(Accommodation-convergence correspondence breakdown)라고 한다.
이러한 문제점을 해결하고 편안한 3차원 영상의 시청을 위하여 깊이 정보의 변화 범위를 제한하거나 화면에서 시청자를 멀리 띄어 놓거나 하는 방법 등이 제안되었으나 다양한 3차원 영상의 상황에 모두 적용하기에는 한계가 있었다. 그러다가 1995년에에 의해 발표된 연구에서 이러한 문제점을 앞에서 설명한 인간 시각 시스템을 흉내냄으로써 해결할 수 있음이 보여졌으며, 이를 토대로 Blohm 등에 의한 초점심도 시뮬레이션(Depth of field simulation)에 대한 연구가 이뤄졌다.
이들의 연구는 입체 시각 피로 문제가 초점심도(Depth of field) 조정을 통하여 개선될 수 있음을 보여줬으나 영상의 평균 화질 저하라는 새로운 문제점을 가지고 있다.
본 발명은, 상기한 바와 같은 문제점을 해결하기 위하여 제안된 것으로, 두 대의 카메라에 의해 취득된 영상으로부터 변이 정보를 구하고, 이 변이 정보를 바탕으로 인간의 초점심도(Depth of field) 범위를 벗어나는 영역을 필터링함으로써, 입체 영상의 시청 시에 발생하는 시각 피로 현상을 줄이기 위한 스테레오 영상의 초점심도 조정 장치 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한컴퓨터로 읽을 수 있는 기록매체를 제공하는데 그 목적이 있다.
도 1 은 종래 인간 시각 시스템의 주시 위치와 초점을 맞추는 위치의 차이를 나타낸 예시도.
도 2 는 본 발명에 따른 시각 피로 감소를 위한 스테레오 영상의 초점심도 조정 장치의 일실시예 구성도.
도 3 은 상기 도 2에서 사용된 변이 값에 따른 필터 크기와 계수의 변화를 표현하는 함수의 로지스틱 함수 그래프를 나타낸 예시도.
* 도면의 주요 부분에 대한 부호의 설명
21 : 스테레오 영상 입력부22 : 카메라 보정부
23 : 변이지도 생성부24 : 영상 필터링부
25 : 영상 출력부26 : 주시영역 검출부
상기 목적을 달성하기 위한 본 발명은, 시각 피로 감소를 위한 스테레오 영상의 초점심도(depth of field) 조정 장치에 있어서, 카메라를 통해 촬상된 스테레오 좌우 영상을 입력받기 위한 영상입력수단; 상기 스테레오 좌우 영상 중 초점심도 필터링을 수행할 기준영상을 선택하고, 선택된 기준영상을 기준으로 대상영상에 대한 변이를 계산하여 기준영상의 변이지도를 생성하기 위한 변이지도 생성수단; 상기 변이지도를 바탕으로 상기 기준영상 중 초점심도를 벗어나는 영역을 몽롱화(blurring)시키는 필터링을 수행하기 위한 영상필터링수단; 및 상기 영상필터링수단을 통해 필터링된 기준영상과 상기 영상입력수단을 통해 전달된 필터링되지 않은 대상영상을 합성하여 3차원 영상으로 출력하기 위한 영상출력수단을 포함하여 이루어진 것을 특징으로 한다.
그리고, 본 발명은, 에피폴라 라인 정렬을 통해 상기 스테레오 좌우 영상을 보정하여, 보정된 스테레오 좌우 영상을 상기 변이지도 생성수단으로 전달하는 영상보정수단을 더 포함하여 이루어진 것을 특징으로 한다.
그리고, 본 발명은, 관찰자의 관심영역(주시영역)을 자동으로 검출하여, 검출결과를 상기 영상필터링수단으로 입력하여, 주시하고 있는 물체가 변화함에 따라 적응적으로 필터링되는 영역을 변화시키도록 하는 주시영역 검출수단을 더 포함하여 이루어진 것을 특징으로 한다.
또한, 본 발명은, 스테레오 영상의 초점심도(depth of field) 조정 장치에 적용되는 시각 피로 감소를 위한 스테레오 영상의 초점심도 조정 방법에 있어서, 카메라를 통해 촬상된 스테레오 좌우 영상을 입력받는 제 1 단계; 상기 스테레오 좌우 영상 중 초점심도 필터링을 수행할 기준영상을 선택하고, 선택된 기준영상을 기준으로 대상영상에 대한 변이를 계산하여 기준영상의 변이지도를 생성하는 제 2 단계; 상기 변이지도를 바탕으로 상기 기준영상 중 초점심도를 벗어나는 영역을 몽롱화(blurring)시키는 필터링을 수행하는 제 3 단계; 및 상기 제 3 단계를 통해 필터링된 기준영상과 상기 제 1 단계를 통해 전달된 필터링되지 않은 대상영상을 합성하여 3차원 영상으로 출력하는 제 4 단계를 포함하여 이루어진 것을 특징으로 한다.
그리고, 본 발명은, 에피폴라 라인 정렬을 통해 상기 스테레오 좌우 영상을 보정하여, 보정된 스테레오 좌우 영상을 변이지도 생성부로 전달하는 제 5 단계를 더 포함하여 이루어진 것을 특징으로 한다.
그리고, 본 발명은, 관찰자의 관심영역(주시영역)을 자동으로 검출하여, 검출결과를 영상필터링부로 입력하여, 주시하고 있는 물체가 변화함에 따라 적응적으로 필터링되는 영역을 변화시키도록 하는 제 6 단계를 더 포함하여 이루어진 것을 특징으로 한다.
또한, 본 발명은, 프로세서를 구비한 스테레오 영상의 초점심도(depth of field) 조정 장치에, 카메라를 통해 촬상된 스테레오 좌우 영상을 입력받는 제 1 기능; 상기 스테레오 좌우 영상 중 초점심도 필터링을 수행할 기준영상을 선택하고, 선택된 기준영상을 기준으로 대상영상에 대한 변이를 계산하여 기준영상의 변이지도를 생성하는 제 2 기능; 상기 변이지도를 바탕으로 상기 기준영상 중 초점심도를 벗어나는 영역을 몽롱화(blurring)시키는 필터링을 수행하는 제 3 기능; 및 상기 제 3 기능을 통해 필터링된 기준영상과 상기 제 1 기능을 통해 전달된 필터링되지 않은 대상영상을 합성하여 3차원 영상으로 출력하는 제 4 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
그리고, 본 발명은, 에피폴라 라인 정렬을 통해 상기 스테레오 좌우 영상을 보정하여, 보정된 스테레오 좌우 영상을 변이지도 생성부로 전달하는 제 5 기능을 을 더 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
그리고, 본 발명은, 관찰자의 관심영역(주시영역)을 자동으로 검출하여, 검출결과를 영상필터링부로 입력하여, 주시하고 있는 물체가 변화함에 따라 적응적으로 필터링되는 영역을 변화시키도록 하는 제 6 기능을 더 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
본 발명에 따른 스테레오 영상 입력부(21)는 두 대의 카메라로부터 취득된 영상을 직접 입력하거나 VCR에 기록된 영상을 입력받는다. 변이지도 생성부(23)는 스테레오 영상 정합 알고리즘을 이용하여 상기한 바와 같이 좌우 스테레오 영상 간의 변이 정보를 계산하여 기록하게 된다. 이 때 좌우 영상은 에피폴라 라인이 정렬 되었으면 그대로 정합을 수행하고, 그렇지 않으면 카메라 보정부(22)를 거쳐 에피폴라 라인 정렬을 수행한 후 변이 정보를 계산하게 된다.
여기서, 변이 정보 계산은 어느 영상을 기준영상으로 선택하느냐에 따라 두 종류의 변이 정보를 얻게 되며, 다음 단계의 영상 필터링부(24)에서 입력 영상으로 사용할 영상도 기준영상에 따라 결정된다.
즉, 좌측 영상을 기준으로 우측영상에 대한 변이를 계산하였을 경우에는 좌측영상의 변이지도를 얻게 되고, 따라서 필터링할 영상은 좌측 영상이 된다. 반대로, 우측 영상을 기준으로 좌측영상에 대한 변이를 계산하였을 경우에는 우측 영상을 필터링하게 된다. 기준 영상의 선택은 사용자에 의해 자유롭게 결정된다. 영상 필터링부(24)에서는 사용자에 의해 미리 선택된 영상에 대해 관찰자의 주시영역 검출부(26)로부터의 검출 결과 및 변이 정보에 기반하여 해당 화소의 변이 값이 일정한 기준 또는 범위를 만족하지 않는 화소는 필터링 대상에서 제외시키고, 나머지 화소들에 대해 변이 값 기반 필터링을 수행하여 변이 값이 인간에 의해 감지할 수 있는 변이를 범위를 벗어난 경우 그 해당 화소는 그 벗어난 정도에 따라 몽롱화되도록 함으로써 입체 시각 피로 현상을 줄일 수 있도록 하게 된다.
상술한 목적, 특징들 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다.
도 2 는 본 발명에 따른 시각 피로 감소를 위한 스테레오 영상의 초점심도 조정 장치의 일실시예 구성도이다.
도 2에 도시된 바와 같이, 본 발명에 따른 시각 피로 감소를 위한 스테레오 영상의 초점심도 조정 장치는, 카메라를 통해 촬상된 스테레오 좌우 영상을 입력받기 위한 스테레오 영상 입력부(21)와, 스테레오 좌우 영상 중 초점심도 필터링을 수행할 기준영상을 선택하고, 선택된 기준영상을 기준으로 대상영상에 대한 변이를 계산하여 기준영상의 변이지도를 생성하기 위한 변이지도 생성부(23)와, 변이지도를 바탕으로 기준영상 중 초점심도를 벗어나는 영역을 몽롱화(blurring)시키는 필터링을 수행하기 위한 영상 필터링부(24)와, 영상 필터링부(24)를 통해 필터링된 기준영상과 스테레오 영상 입력부(21)를 통해 전달된 필터링되지 않은 대상영상을 합성하여 3차원 영상으로 출력하기 위한 영상 출력부(25)를 구비한다.
또한, 본 발명에 따른 시각 피로 감소를 위한 스테레오 영상의 초점심도 조정 장치는, 에피폴라 라인 정렬을 통해 상기 스테레오 좌우 영상을 보정하여, 보정된 스테레오 좌우 영상을 변이지도 생성부(23)로 전달하는 카메라 보정부(22)를 더 포함한다.
또한, 본 발명에 따른 시각 피로 감소를 위한 스테레오 영상의 초점심도 조정 장치는, 관찰자의 관심영역(주시영역)을 자동으로 검출하여, 검출결과를 영상 필터링부(24)로 입력하여, 주시하고 있는 물체가 변화함에 따라 적응적으로 필터링되는 영역을 변화시키도록 하는 주시영역 검출부(26)를 더 포함한다.
여기서, 변이지도 생성부(23)는 스테레오 좌우 영상 중에서 스테레오 정합을 사용하여, 계산할 변이지도의 기준으로 사용할 기준 영상이 사용자에 의해 초기에 한번만 선택된 후 이 기준영상에 대해서만 모든 프레임에 걸쳐 변이지도를 생성한다.
또한, 변이지도 생성부(23)는 스테레오 좌우 영상 중에서 스테레오 정합을사용하여, 계산할 변이지도의 기준으로 사용할 기준영상을 사용자에 의해 정해진 프레임 간격마다 좌우 교대로 바꿔가면서 변이지도를 생성한다.
영상 필터링부(24)는 입력 영상으로 사용할 영상도 기준영상에 따라 결정된다. 즉, 좌측 영상을 기준으로 우측영상에 대한 변이를 계산하였을 경우에는 좌측영상의 변이지도를 얻게 되고, 따라서 필터링 할 영상은 좌측 영상이 된다. 반대로, 우측 영상을 기준으로 좌측영상에 대한 변이를 계산하였을 경우에는 우측 영상을 필터링하게 된다. 기준 영상의 선택은 사용자에 의해 자유롭게 결정된다.
또한, 영상 필터링부(24)에서는 사용자에 의해 미리 선택된 영상에 대해 관찰자의 주시영역 검출부(26)로부터의 검출 결과 및 변이 정보에 기반하여 해당 화소의 변이 값이 일정한 기준 또는 범위를 만족하지 않는 화소는 필터링 대상에서 제외시키고, 나머지 화소들에 대해 변이 값 기반 필터링을 수행하여 변이 값이 인간에 의해 감지할 수 잇는 변이를 범위를 벗어난 경우 그 해당 화소는 그 벗어난 정도에 따라 몽롱화 되도록 함으로써 입체 시각 피로 현상을 줄이게 된다.
즉, 영상 필터링부(24)는 변이정보를 독립변수로 필터의 크기와 필터의 계수를 종속변수로 하는 다음과 같은 필터링 함수를 이용하여 필터 파라미터를 결정한다.
(a) 1차 함수 y = ax + b를 이용하는 경우; 또는
(b) 2차 함수 y = ax2+ bx + c를 이용하는 경우; 또는
(c) 지수 함수y= a* exp(bx) + c를 이용하는 경우; 또는
(d) 로지스틱(logistic) 함수 y = a+ (b/(1+(x/c)d))
(e) 제곱근 함수
또한, 영상 필터링부(24)는 다음과 같이 4가지 종류의 화소 변이 정보에 의존하는 변이 기반 필터링 방식을 사용한다.
(a) 모든 화소를 필터링 하는 방식
(b) 사용자에 의해 주어진 변이 임계치 보다 작은 변이를 가지는 화소 만을 필터링 하는 방식
(c) 사용자에 의해 주어진 변이 임계치보다 큰 변이를 가지는 화소 만을 필터링 하는 방식
(d) 사용자에 의해 주어진 변이 임계치1보다 작거나 변이 임계치2 보다 큰(변이 임계치 1 < 변이 임계치 2) 화소만을 필터링 하는 방식
상기한 바와 같은 구조를 갖는 본 발명의 스테레오 영상의 초점심도 조정 장치의 동작을 상세하게 설명하면 다음과 같다.
먼저, 두 대의 카메라로부터 촬상된 좌우 스테레오 영상이 VCR에 기록되어 있다고 가정하고, VCR로부터의 아날로그 비디오 출력 신호를 전달받아 아날로그/디지털 변환장치를 통하여 디지털 영상 데이터로 변환한 다음 스테레오 영상 입력부(21)로 각각 입력한다. 또는, VCR이 디지털 출력을 지원할 경우 직접 그 출력신호를 스테레오 영상 입력부(21)로 각각 입력한다. 이때, 카메라 보정이 필요한 지 여부를 나타내는 플래그 데이터를 영상데이터에 더하여 같이 입력한다.
그러면, 스테레오 영상 입력부(21)에서는 이 플래그 데이터를 분석하여 카메라 보정이 필요한 경우 입력된 신호를 카메라 보정부(22)로 보내고, 그렇지 않으면 직접 변이지도 생성부(23)로 좌우 영상을 보낸다. 변이지도 생성부(23)로 전달된 영상은 미리 저장된 변이 추출 알고리즘에 따라 각 화소에 대한 변이 정보를 계산하게 된다. 변이 추출 알고리즘으로는 특정한 크기와 모양을 가지는 창틀 내 두 영역 간의 유사성을 조사하여 가장 유사한 두 화소를 찾아내고 이로부터 변이를 계산하는 영역기반 정합 방법과 영상의 특징, 예를 들어 에지 등의 영상 특징을 찾아 내어 그 특징 간의 변이를 구하는 특징기반 정합 방법으로 크게 구분 되는데, 어느 방법이든지 구해진 정합점들에 대해 신뢰성을 검증하고, 잘못된 정합점들을 제거하며, 변이가 구해지지 않은 화소들에 대한 보간 과정이 필요하다. 이렇게 해서 얻어진 변이지도는 영상 필터링부(23)로 원 영상과 함께 보내진다.
영상 필터링부(24)에서는 주시영역 검출부(26)의 검출 결과, 변이지도와 필터링될 영상으로 선택된 영상을 입력으로 받는 것 외에 사용자에 의해 결정된 필터링 조건 또한 입력받게 된다.
예를 들어, 입력 스테레오 비디오의 변이 범위가 -20 화소에서 20화소의 범위를 가지며, 실제 사람 눈에 의해 편안하게 시청 가능한 변이의 범위가 -10 화소에서 10 화소 범위라고 가정하면, 편안한 시청이 가능한 범위를 벗어나는 화소들은 필터링되어야 한다. 또는, 스테레오 비디오의 변이 범위가 0 ~ 20 화소의 범위를 가질 경우 10화소 이상의 변이를 가지는 화소들은 필터링되어야 한다. 그 반대의 경우인 -20 ~ 0의 변이 범위를 가지는 경우에는 -10 이하의 변이를 범위를 가지는화소들은 필터링되어야 한다.
한편, 필터링할 필터의 크기나 계수는 변이 정보에 의존하며, 기준 변이값과의 차이가 큰 변이를 가지는 화소 일수록 더욱 심하게 몽롱화되도록 필터의 크기나 계수가 결정되어야 한다. 따라서, 변이값에 따른 필터 크기와 계수의 변화를 표현하는 함수의 정의가 필요하다. 이러한 함수는 1차 함수, 2차 함수, 지수함수, 제곱근 함수, 로지스틱(logistic) 함수 등이 가능하다. 본 발명에서는 도 3에 주어진 바와 같은 로지스틱 함수를 예로 들어 설명한다.
로지스틱 함수는 다음과 같이 정의된다.
y = y_min + y_max/(1+(x/middle))slope
y_min과 y_max는 y값이 주어진 x의 범위 내에서 가지는 y값의 범위를 결정하며, 본 발명에서는 필터링할 필터의 크기와 계수의 범위를 결정한다. 미들(middle)과 슬로프(slope)는 로지스틱 함수의 증가 또는 감소 속도를 결정하는 파라미터로서 미들(middle)은 y가 y_min과 y_max의 평균값이 되는 x값으로서, 본 발명에서는 기준 변이값과 해당화소의 변이값과의 차이의 절대값을 x로 사용한다. 슬로프는 로지스틱 함수의 기울기로서 절대값이 크면 급격한 증가나 감소가 이뤄지고, 절대값이 작으면 완만한 증가나 감소가 이뤄진다. 또한, 슬로프의 부호가 양이면, x가 증가함에 따라 y는 감소하는 형태를 가지며, 슬로프의 부호가 음이면, x가 증가함에 따라 y는 증가하는 형태를 가진다.
이렇게 결정된 필터 크기와 필터 계수를 이용하여 각 화소마다 필터링을 수행하게 되며, 결과 영상은 영상 출력부(25)로 전달되어 필터링되지 않은 다른 쪽 영상과 함께 디스플레이부를 통하여 3차원 영상으로 디스플레이 되며, 시청자는 시각 피로가 덜한 3차원 화면을 즐길 수 있게 된다.
한편, 변이지도 추출이 실시간으로 수행되기 어려울 경우 미리 오프라인으로 각 프레임마다 변이지도를 구하여 별도의 버퍼나 저장장치에 따로 저장해놓은 다음 이를 각 프레임의 필터링을 할 때마다 읽어 들여 필터링에 이용할 수 있다.
다시 정리해보면, 두 대의 카메라로부터 입력된 두 스테레오 영상은 사전에 또는 카메라 보정부(22)를 거쳐 에피폴라 라인 정렬(epipolar line alignment)되고, 두 영상 중 초점심도 필터링을 수행할 영상이 선택된 다음, 변이지도 생성부(23)로 입력되어 필터링될 영상을 기준 영상으로, 나머지 영상을 대상영상으로 하여 각 화소에 대한 변이 정보를 추출하는데 이용된다. 변이지도 생성부(23)에서는 두 스테레오 영상을 이용하여 스테레오 영상 정합(Stereo image matching) 알고리즘을 이용하여 한쪽 영상 상의 각 화소에 대응되는 다른 쪽 영상의 화소 위치를 찾아낸 다음, 이 두 화소의 위치 차이인 변이를 계산한다. 다음으로 이전에 선택된 초점 심도(depth of field) 필터링을 수행할 영상에 대해, 이 영상을 기준영상으로 하여 추출된 변이지도를 이용하여 일정한 범위를 벗어난 변이를 가지는 화소 또는 영역을 몽롱화(blurring)시켜 영상 출력부(25)로 전달하여 시청자로 하여금 3차원 영상을 관찰할 수 있도록 한다.
이와 같이, 종래 기술과 본 발명의 다른 점은 관심있는 물체 영역(현재 관찰자가 주시하고 있는 영역)은 그대로 두고, 나머지 영역은 변이 값이 커질수록 더욱몽롱화되는 필터링 방법을 사용함으로써, 입체 영상 시청시의 시각 피로 현상을 줄이고, 한쪽 영상만 몽롱화시킴으로써 실제 3차원 영상을 관찰할 시 화질 저하를 느끼지 못하게 하는 것이다. 또한, 본 발명은, 관찰자의 관심영역 또는 주시영역을 자동으로 검출할 수 있는 주시영역 검출부(26)를 추가로 설치함으로써, 이의 검출 결과를 영상 필터링부(24)로 입력하여 주시하고 있는 물체가 변화함에 따라 적응적으로 필터링되는 영역을 변화시키게 된다.
상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다.
이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.
상기한 바와 같은 본 발명은, 두 대의 카메라에 의해 촬상된 영상으로부터 변이지도 정보를 구하고, 이 변이지도 정보를 바탕으로 인간의 초점심도(depth of field) 범위를 벗어나는 영역을 필터링 함으로써, 입체 영상의 시청시에 발생하는 시각 피로 현상을 줄일 수 있는 효과가 있다.
또한, 본 발명은, 두 영상 중 한쪽 영상만을 필터링 함으로써, 두 영상을 모두 필터링 함으로써 발생하였던 종래의 해상도 저하 문제를 해결할 수 있는 효과가 있다.

Claims (17)

  1. 시각 피로 감소를 위한 스테레오 영상의 초점심도(depth of field) 조정 장치에 있어서,
    카메라를 통해 촬상된 스테레오 좌우 영상을 입력받기 위한 영상입력수단;
    상기 스테레오 좌우 영상 중 초점심도 필터링을 수행할 기준영상을 선택하고, 선택된 기준영상을 기준으로 대상영상에 대한 변이를 계산하여 기준영상의 변이지도를 생성하기 위한 변이지도 생성수단;
    상기 변이지도를 바탕으로 상기 기준영상 중 초점심도를 벗어나는 영역을 몽롱화(blurring)시키는 필터링을 수행하기 위한 영상필터링수단; 및
    상기 영상필터링수단을 통해 필터링된 기준영상과 상기 영상입력수단을 통해 전달된 필터링되지 않은 대상영상을 합성하여 3차원 영상으로 출력하기 위한 영상출력수단
    을 포함하는 스테레오 영상의 초점심도 조정 장치.
  2. 제 1 항에 있어서,
    에피폴라 라인 정렬을 통해 상기 스테레오 좌우 영상을 보정하여, 보정된 스테레오 좌우 영상을 상기 변이지도 생성수단으로 전달하는 영상보정수단
    을 더 포함하는 스테레오 영상의 초점심도 조정 장치.
  3. 제 1 항 또는 제 2 항에 있어서,
    관찰자의 관심영역(주시영역)을 자동으로 검출하여, 검출결과를 상기 영상필터링수단으로 입력하여, 주시하고 있는 물체가 변화함에 따라 적응적으로 필터링되는 영역을 변화시키도록 하는 주시영역 검출수단
    을 더 포함하는 스테레오 영상의 초점심도 조정 장치.
  4. 제 3 항에 있어서,
    상기 변이지도 생성수단은,
    스테레오 좌우 영상 중에서 스테레오 정합을 사용하여, 계산할 변이지도의 기준으로 사용할 기준 영상이 사용자에 의해 초기에 한번만 선택된 후 이 기준영상에 대해서만 모든 프레임에 걸쳐 변이지도를 생성하는 것을 특징으로 하는 스테레오 영상의 초점심도 조정 장치.
  5. 제 4 항에 있어서,
    상기 변이지도 생성수단은,
    스테레오 좌우 영상 중에서 스테레오 정합을 사용하여, 계산할 변이지도의 기준으로 사용할 기준영상을 사용자에 의해 정해진 프레임 간격마다 좌우 교대로바꿔가면서 변이지도를 생성하는 것을 특징으로 하는 스테레오 영상의 초점심도 조정 장치.
  6. 제 5 항에 있어서,
    상기 영상필터링수단은,
    변이정보를 독립변수로 필터의 크기와 필터의 계수를 종속변수로 하는 하기와 같은 필터링 함수를 이용하여 필터 파라미터를 결정하는 것을 특징으로 하는 스테레오 영상의 초점심도 조정 장치.
    (a) 1차 함수 y = ax + b를 이용하는 경우; 또는
    (b) 2차 함수 y = ax2+ bx + c를 이용하는 경우; 또는
    (c) 지수 함수y= a* exp(bx) + c를 이용하는 경우; 또는
    (d) 로지스틱(logistic) 함수 y = a+ (b/(1+(x/c)d))
    (e) 제곱근 함수
  7. 제 6 항에 있어서,
    상기 영상필터링수단은,
    하기와 같이 4가지 종류의 화소 변이 정보에 의존하는 변이 기반 필터링 방식을 사용하는 것을 특징으로 하는 스테레오 영상의 초점심도 조정 장치.
    (a) 모든 화소를 필터링 하는 방식
    (b) 사용자에 의해 주어진 변이 임계치 보다 작은 변이를 가지는 화소 만을 필터링 하는 방식
    (c) 사용자에 의해 주어진 변이 임계치보다 큰 변이를 가지는 화소 만을 필터링 하는 방식
    (d) 사용자에 의해 주어진 변이 임계치1보다 작거나 변이 임계치2 보다 큰(변이 임계치 1 < 변이 임계치 2) 화소만을 필터링 하는 방식
  8. 스테레오 영상의 초점심도(depth of field) 조정 장치에 적용되는 시각 피로 감소를 위한 스테레오 영상의 초점심도 조정 방법에 있어서,
    카메라를 통해 촬상된 스테레오 좌우 영상을 입력받는 제 1 단계;
    상기 스테레오 좌우 영상 중 초점심도 필터링을 수행할 기준영상을 선택하고, 선택된 기준영상을 기준으로 대상영상에 대한 변이를 계산하여 기준영상의 변이지도를 생성하는 제 2 단계;
    상기 변이지도를 바탕으로 상기 기준영상 중 초점심도를 벗어나는 영역을 몽롱화(blurring)시키는 필터링을 수행하는 제 3 단계; 및
    상기 제 3 단계를 통해 필터링된 기준영상과 상기 제 1 단계를 통해 전달된 필터링되지 않은 대상영상을 합성하여 3차원 영상으로 출력하는 제 4 단계
    를 포함하는 스테레오 영상의 초점심도 조정 방법.
  9. 제 8 항에 있어서,
    에피폴라 라인 정렬을 통해 상기 스테레오 좌우 영상을 보정하여, 보정된 스테레오 좌우 영상을 변이지도 생성부로 전달하는 제 5 단계
    를 더 포함하는 스테레오 영상의 초점심도 조정 방법.
  10. 제 8 항 또는 제 9 항에 있어서,
    관찰자의 관심영역(주시영역)을 자동으로 검출하여, 검출결과를 영상필터링부로 입력하여, 주시하고 있는 물체가 변화함에 따라 적응적으로 필터링되는 영역을 변화시키도록 하는 제 6 단계
    를 더 포함하는 스테레오 영상의 초점심도 조정 방법.
  11. 제 10 항에 있어서,
    상기 변이지도 생성 과정은,
    스테레오 좌우 영상 중에서 스테레오 정합을 사용하여, 계산할 변이지도의 기준으로 사용할 기준 영상이 사용자에 의해 초기에 한번만 선택된 후 이 기준영상에 대해서만 모든 프레임에 걸쳐 변이지도를 생성하는 것을 특징으로 하는 스테레오 영상의 초점심도 조정 방법.
  12. 제 11 항에 있어서,
    상기 변이지도 생성 과정은,
    스테레오 좌우 영상 중에서 스테레오 정합을 사용하여, 계산할 변이지도의 기준으로 사용할 기준영상을 사용자에 의해 정해진 프레임 간격마다 좌우 교대로 바꿔가면서 변이지도를 생성하는 것을 특징으로 하는 스테레오 영상의 초점심도 조정 방법.
  13. 제 12 항에 있어서,
    상기 필터링을 수행하는 과정은,
    변이정보를 독립변수로 필터의 크기와 필터의 계수를 종속변수로 하는 하기와 같은 필터링 함수를 이용하여 필터 파라미터를 결정하는 것을 특징으로 하는 스테레오 영상의 초점심도 조정 방법.
    (a) 1차 함수 y = ax + b를 이용하는 경우; 또는
    (b) 2차 함수 y = ax2+ bx + c를 이용하는 경우; 또는
    (c) 지수 함수y= a* exp(bx) + c를 이용하는 경우; 또는
    (d) 로지스틱(logistic) 함수 y = a+ (b/(1+(x/c)d))
    (e) 제곱근 함수
  14. 제 13 항에 있어서,
    상기 필터링을 수행하는 과정은,
    하기와 같이 4가지 종류의 화소 변이 정보에 의존하는 변이 기반 필터링 방식을 사용하는 것을 특징으로 하는 스테레오 영상의 초점심도 조정 방법.
    (a) 모든 화소를 필터링 하는 방식
    (b) 사용자에 의해 주어진 변이 임계치 보다 작은 변이를 가지는 화소 만을 필터링 하는 방식
    (c) 사용자에 의해 주어진 변이 임계치보다 큰 변이를 가지는 화소 만을 필터링 하는 방식
    (d) 사용자에 의해 주어진 변이 임계치1보다 작거나 변이 임계치2 보다 큰(변이 임계치 1 < 변이 임계치 2) 화소만을 필터링 하는 방식
  15. 프로세서를 구비한 스테레오 영상의 초점심도(depth of field) 조정 장치에,
    카메라를 통해 촬상된 스테레오 좌우 영상을 입력받는 제 1 기능;
    상기 스테레오 좌우 영상 중 초점심도 필터링을 수행할 기준영상을 선택하고, 선택된 기준영상을 기준으로 대상영상에 대한 변이를 계산하여 기준영상의 변이지도를 생성하는 제 2 기능;
    상기 변이지도를 바탕으로 상기 기준영상 중 초점심도를 벗어나는 영역을 몽롱화(blurring)시키는 필터링을 수행하는 제 3 기능; 및
    상기 제 3 기능을 통해 필터링된 기준영상과 상기 제 1 기능을 통해 전달된 필터링되지 않은 대상영상을 합성하여 3차원 영상으로 출력하는 제 4 기능
    을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  16. 제 15 항에 있어서,
    에피폴라 라인 정렬을 통해 상기 스테레오 좌우 영상을 보정하여, 보정된 스테레오 좌우 영상을 변이지도 생성부로 전달하는 제 5 기능
    을 더 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  17. 제 15 항 또는 제 16 항에 있어서,
    관찰자의 관심영역(주시영역)을 자동으로 검출하여, 검출결과를 영상필터링부로 입력하여, 주시하고 있는 물체가 변화함에 따라 적응적으로 필터링되는 영역을 변화시키도록 하는 제 6 기능
    을 더 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020020050937A 2002-08-27 2002-08-27 시각 피로 감소를 위한 스테레오 영상의 초점심도 조정장치 및 그 방법 KR20040018858A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020020050937A KR20040018858A (ko) 2002-08-27 2002-08-27 시각 피로 감소를 위한 스테레오 영상의 초점심도 조정장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020020050937A KR20040018858A (ko) 2002-08-27 2002-08-27 시각 피로 감소를 위한 스테레오 영상의 초점심도 조정장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR20040018858A true KR20040018858A (ko) 2004-03-04

Family

ID=37324057

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020020050937A KR20040018858A (ko) 2002-08-27 2002-08-27 시각 피로 감소를 위한 스테레오 영상의 초점심도 조정장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR20040018858A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100439341B1 (ko) * 2002-08-27 2004-07-07 한국전자통신연구원 시각 피로 감소를 위한 스테레오 영상의 초점심도 조정장치 및 그 방법
KR100739764B1 (ko) * 2005-11-28 2007-07-13 삼성전자주식회사 입체 영상 신호 처리 장치 및 방법
KR100956453B1 (ko) * 2009-02-19 2010-05-06 인하대학교 산학협력단 입체영상 가시화를 위한 자동 피사계심도 조절 방법
WO2010079921A3 (ko) * 2009-01-12 2010-09-23 엘지 전자 주식회사 뎁스 정보를 이용한 비디오 신호 처리 방법 및 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0998311A (ja) * 1995-09-28 1997-04-08 Victor Co Of Japan Ltd ２次元雑音低減装置及び２次元雑音低減方法
JPH11191861A (ja) * 1997-12-25 1999-07-13 Canon Inc 画像処理装置及び画像処理システム
JP2000107168A (ja) * 1998-09-30 2000-04-18 Siemens Corporate Res Inc 被検体内の関心領域の３次元コンピュ―タ断層撮影方法及び装置
KR20030047552A (ko) * 2001-12-11 2003-06-18 삼성전자주식회사 이차원 영상의 입체화 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0998311A (ja) * 1995-09-28 1997-04-08 Victor Co Of Japan Ltd ２次元雑音低減装置及び２次元雑音低減方法
JPH11191861A (ja) * 1997-12-25 1999-07-13 Canon Inc 画像処理装置及び画像処理システム
JP2000107168A (ja) * 1998-09-30 2000-04-18 Siemens Corporate Res Inc 被検体内の関心領域の３次元コンピュ―タ断層撮影方法及び装置
KR20030047552A (ko) * 2001-12-11 2003-06-18 삼성전자주식회사 이차원 영상의 입체화 장치 및 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100439341B1 (ko) * 2002-08-27 2004-07-07 한국전자통신연구원 시각 피로 감소를 위한 스테레오 영상의 초점심도 조정장치 및 그 방법
KR100739764B1 (ko) * 2005-11-28 2007-07-13 삼성전자주식회사 입체 영상 신호 처리 장치 및 방법
WO2010079921A3 (ko) * 2009-01-12 2010-09-23 엘지 전자 주식회사 뎁스 정보를 이용한 비디오 신호 처리 방법 및 장치
KR100956453B1 (ko) * 2009-02-19 2010-05-06 인하대학교 산학협력단 입체영상 가시화를 위한 자동 피사계심도 조절 방법

Similar Documents

Publication Publication Date Title
JP5963422B2 (ja) 撮像装置、表示装置、コンピュータプログラムおよび立体像表示システム
JP3653790B2 (ja) 立体電子ズーム装置及び立体画質制御装置
EP2357841B1 (en) Method and apparatus for processing three-dimensional images
EP2701390B1 (en) Apparatus for adjusting displayed picture, display apparatus and display method
KR100770019B1 (ko) 스테레오 카메라의 영상왜곡 보정 장치 및 그 방법
US20110228051A1 (en) Stereoscopic Viewing Comfort Through Gaze Estimation
US20080112616A1 (en) Method for adjusting disparity in three-dimensional image and three-dimensional imaging device thereof
JP4562457B2 (ja) 画像処理装置及び画像処理方法
US9013561B2 (en) Stereoscopic video processing apparatus, method, and program
WO2012037075A1 (en) Method of presenting three-dimensional content with disparity adjustments
JP6393254B2 (ja) 立体視ディスプレイにおける調節効果による歪み誤差を補正する方法および装置
KR100439341B1 (ko) 시각 피로 감소를 위한 스테레오 영상의 초점심도 조정장치 및 그 방법
CN107209949B (zh) 用于产生放大3d图像的方法和***
US9088774B2 (en) Image processing apparatus, image processing method and program
JP4436080B2 (ja) 立体画像再現歪み出力装置、立体画像再現歪み出力方法および立体画像再現歪み出力プログラム
JP5840022B2 (ja) 立体画像処理装置、立体画像撮像装置、立体画像表示装置
TWI589150B (zh) ３ｄ自動對焦顯示方法及其系統
JP6113411B2 (ja) 画像処理装置
KR20040018858A (ko) 시각 피로 감소를 위한 스테레오 영상의 초점심도 조정장치 및 그 방법
JP5741353B2 (ja) 画像処理システム、画像処理方法および画像処理プログラム
JP2017135543A (ja) ２次元映像の立体映像化表示装置
JP2010193409A (ja) 画像提示システム、画像処理装置、プログラムおよび画像提示方法
CN115190284B (zh) 一种图像处理方法
CN115190286B (zh) 一种2d图像转换方法及装置
CN109246411B (zh) 立体图像产生方法及其装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application