KR20090090148A - 스테레오 동기화를 위한 스테레오스코픽 영상의 시점 결정방법 및 장치 - Google Patents
스테레오 동기화를 위한 스테레오스코픽 영상의 시점 결정방법 및 장치 Download PDFInfo
- Publication number
- KR20090090148A KR20090090148A KR1020080015446A KR20080015446A KR20090090148A KR 20090090148 A KR20090090148 A KR 20090090148A KR 1020080015446 A KR1020080015446 A KR 1020080015446A KR 20080015446 A KR20080015446 A KR 20080015446A KR 20090090148 A KR20090090148 A KR 20090090148A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- difference
- viewpoint
- determining
- view
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/398—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2213/00—Details of stereoscopic systems
- H04N2213/007—Aspects relating to detection of stereoscopic image format, e.g. for adaptation to the display format
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
본 발명의 스테레오스코픽 영상의 스테레오 시점 결정 방법은, 스테레오스코픽 영상으로부터, 서로 대응되는 한 쌍의 기준 시점 영상 및 부가 시점 영상을 위한 한 쌍의 제 1 영상 및 제 2 영상을 선택하고, 한 쌍의 제 1 영상 및 제 2 영상 사이의 시차(parallax)를 이용하여, 제 1 영상을 기준 시점 영상 및 부가 시점 영상 중 한 시점 영상으로 결정하고, 제 2 영상을 기준 시점 영상 및 부가 시점 영상 중 나머지 시점 영상으로 결정함으로써, 부가적인 스테레오 시점 정보 또는 신호 전송 채널 없이 스테레오스코픽 영상의 시점을 결정하여 스테레오 동기화를 수행할 수 있다.
스테레오스코픽 영상, 스테레오 영상, 변이 추정, 변이 벡터
Description
본 발명은 스테레오스코픽 영상의 시점 분석 및 스테레오 동기화에 관한 것으로, 상세하게는 각각 다른 시점의 영상으로 구성된 스테레오스코픽 영상을 디스플레이 장치가 정확한 시점을 바탕으로 입체 영상을 재생할 수 있도록 하는 스테레오 싱크를 제어하는 스테레오 동기화에 관한 것이다.
스테레오스코픽 영상을 재생하기 위해서는 스테레오스코픽 영상의 동기 정보를 나타내는 스테레오 싱크 정보가 필요하다. 스테레오 싱크는 현재 영상이 좌시점 영상인지 우시점 영상인지를 나타내는 신호이다.
디스플레이 장치에서 3차원 영상을 재생하기 위해 입력되는 영상 정보는 영상 데이터 뿐이다. 현재 제작 유포되고 있는 대부분의 3차원 영상 컨텐츠들은 단순히 좌우시점 영상 데이터만을 저장하고 있을 뿐 각각의 프레임이 좌시점 영상인지, 우시점 영상인지 나타내는 플래그(flag)를 가지고 있지 않다. 즉 스테레오스코픽 영상이 디스플레이 장치에 전달될 때 영상 데이터만이 전달되기 때문에 디스플레이 장치에서는 현재 프레임이 좌시점 영상인지 우시점 영상인지 알 수 없다.
그래픽 카드와 같은 그래픽 구현 하드웨어에서 스테레오 싱크를 출력할 수 있는 단자가 개발되었지만 현재 유통되는 대부분의 제품에서는 구현되지 않았으며, 구현되더라도 하드웨어의 가격 상승 요인이 된다.
도 1 은 스테레오스코픽 영상 포맷 변환 장치와 디스플레이 장치와의 관계를 도시한다.
비디오 포맷 변환 장치(110) 및 디스플레이 장치(120)를 포함하는 스테레오스코픽 영상 재생 시스템(100)에 있어서, 입력된 좌시점 영상 및 우시점 영상은 디스플레이 장치(120)의 디스플레이 장치 속성 정보에 따라 디스플레이 입력 포맷의 스테레오스코픽 영상으로 변환된다. 변환된 스테레오스코픽 영상은 디스플레이 장치(120)에 입력되어 3차원 영상 모드로 재생됨으로써 입체 영상 재생 효과가 발생된다.
디스플레이 장치(120)의 디스플레이 장치 속성 정보에 스테레오스코픽 영상의 스테레오 싱크 정보가 수록되어 있을 수 있지만, 이 정보가 전달되기 위해서는 DVI 포트와 같은 별도의 출력 케이블 외에 다른 케이블이 필요하고, 하드웨어가 지원하지 않는 경우도 많다.
본 발명이 해결하고자 하는 과제는, 디스플레이 장치의 부가적인 입력 케이블 없이 디스플레이 장치에서 스테레오스코픽 영상을 분석하여 각각의 영상의 스테레오 시점을 결정하는 방법을 제안하는데 있다. 또한, 결정된 스테레오 시점을 바탕으로 스테레오 동기화 정보를 내부적으로 발생하는 방법이 제안된다.
보다 정확하고 효율적인 스테레오 시점을 결정하기 위해 변이 추정, 카메라 파라미터를 이용하는 방법을 제안한다.
또한, 본 발명은 스테레오 동기화 정보가 고정되어 있는 경우 시청 피로감을 완화하면서 스테레오스코픽 영상의 스테레오 동기화를 수행하는 방법을 제안한다.
상기 해결하고자 하는 과제를 달성하기 위해, 본 발명의 일 실시예에 따른 스테레오스코픽 영상의 스테레오 시점 결정 방법은, 스테레오스코픽 영상으로부터, 서로 대응되는 한 쌍의 기준 시점 영상 및 부가 시점 영상을 위한 한 쌍의 제 1 영상 및 제 2 영상을 선택하는 단계; 및 상기 한 쌍의 제 1 영상 및 상기 제 2 영상 사이의 시차(parallax)를 이용하여, 상기 제 1 영상을 상기 기준 시점 영상 및 상기 부가 시점 영상 중 한 시점 영상으로 결정하고, 상기 제 2 영상을 상기 기준 시점 영상 및 상기 부가 시점 영상 중 나머지 시점 영상으로 결정하는 단계를 포함한다.
일 실시예의 스테레오 시점 결정 방법은, 상기 한 쌍의 제 1 영상 및 상기 제 2 영상이 상기 기준 시점 영상 및 상기 부가 시점 영상 중 어느 하나로 각각 결정된 결과를 기초로 상기 스테레오스코픽 영상을 동기화하는 단계를 포함한다.
일 실시예의 상기 한 쌍의 제 1 영상 및 제 2 영상 선택 단계는, 서로 대응되는 한 쌍의 기준 시점 영상의 정보 및 부가 시점 영상의 정보가 결합된 영상이 상기 스테레오스코픽 영상에 포함된 경우, 상기 기준 시점 영상의 정보 및 부가 시점 영상의 정보가 결합된 영상으로부터 상기 한 쌍의 기준 시점 영상 및 상기 부가 시점 영상을 복원하는 단계; 및 상기 복원된 한쌍의 기준 시점 영상 및 부가 시점 영상을 위한 한 쌍의 제 1 영상 및 제 2 영상을 선택하는 단계를 포함한다.
일 실시예의 상기 기준 시점 영상 및 부가 시점 영상 결정 단계는, 상기 한 쌍의 제 1 영상 및 상기 제 2 영상 사이의 시차로써, 상기 한 쌍의 제 1 영상 및 상기 제 2 영상에 대해 변이 추정 기법을 수행하여 변이 벡터를 결정하는 단계; 및 상기 결정된 변이 벡터를 이용하여, 상기 제 1 영상의 시점 및 상기 제 2 영상의 시점을 각각 결정하는 단계를 포함한다.
일 실시예의 상기 변이 벡터 결정 단계는, 각각의 픽셀마다 상기 제 1 영상의 픽셀 값 및 상기 제 2 영상의 픽셀 값의 차이가 기록된 차이 영상을 획득하는 단계; 상기 차이 영상의 블록 중 블록 내의 픽셀 값의 절대값의 합이 소정 임계치보다 큰 블록을 결정하는 단계; 및 상기 결정된 블록에 대해서 변이 추정을 수행하는 단계를 포함한다.
일 실시예의 상기 블록 결정 단계는, 상기 차이 영상의 좌측 가장자리 영역 및 우측 가장자리 영역의 블록을 제외한 블록들 중에서, 상기 차이 영상의 블록 중 블록 내의 픽셀 값의 절대값의 합이 소정 임계치보다 큰 블록을 결정하는 단계를 더 포함한다.
일 실시예의 상기 변이 추정 수행 단계는, 현재 블록 위치, 상기 현재 블록 위치로부터 소정 거리만큼 좌측으로 평행 이동된 좌측 블록 위치, 상기 현재 블록 위치로부터 상기 소정 거리만큼 우측으로 평행 이동된 우측 블록 위치에 있어서, 상기 제 1 영상의 상기 현재 블록 위치의 픽셀들과 상기 제 2 영상의 상기 좌측 블록 위치의 픽셀들 사이의 차이도인 제 1 차이도를 결정하는 단계; 상기 제 1 영상의 상기 현재 블록 위치의 픽셀들과 상기 제 2 영상의 상기 현재 블록 위치의 픽셀들 사이의 차이도인 제 2 차이도를 결정하는 단계; 상기 제 1 영상의 상기 현재 블록 위치의 픽셀들과 상기 제 2 영상의 상기 우측 블록 위치의 픽셀들 사이의 차이도인 제 3 차이도를 결정하는 단계; 상기 제 1 차이도, 제 2 차이도 및 제 3 차이도를 비교하는 단계; 상기 차이도들의 비교 결과에 따라, 상기 변이 벡터의 방향을 결정하는 단계를 포함한다.
일 실시예의 상기 변이 벡터의 방향 결정 단계는, 상기 차이도가 상기 제 3 차이도, 상기 제 2 차이도 및 상기 제 1 차이도 순으로 작아진다면, 상기 변이 벡터의 방향을 음의 방향으로 결정하고, 상기 차이도가 상기 제 1 차이도, 상기 제 2 차이도 및 상기 제 3 차이도 순으로 작아진다면, 상기 변이 벡터의 방향을 양의 방향으로 결정하는 단계를 포함한다.
일 실시예의 상기 변이 추정 수행 단계는, 현재 블록 위치의 소정 가로 방향의 픽셀들에 대한 현재 라인 위치, 상기 현재 라인 위치로부터 소정 거리만큼 좌측 및 우측 방향으로 평행 이동된 픽셀들을 포함하는 검색 범위에 있어서, 상기 제 1 영상의 상기 현재 라인 위치의 픽셀들과, 상기 제 2 영상의 상기 검색 범위 내에서 상기 현재 라인 위치로부터 좌측 또는 우측 방향으로 평행 이동된 라인 위치의 픽셀들 사이의 차이도인 차이도들을 결정하는 단계; 상기 라인별로 결정된 차이도들을 비교하는 단계; 및 상기 비교 결과에 따라, 가장 작은 차이도를 갖는 라인의 방향으로 변이 벡터 방향을 결정하는 단계를 포함한다.
일 실시예의 상기 변이 벡터 결정 단계는, 상기 변이 벡터의 방향이 양인 경우의 개수 및 음인 경우의 개수를 각각 세는 단계; 및 상기 변이 벡터의 방향이 양인 경우의 개수 및 음인 경우의 개수 중 개수가 더 많은 쪽으로 상기 변이 벡터의 방향을 결정하는 단계를 포함한다.
일 실시예의 상기 시점 결정 단계는, 상기 스테레오스코픽 영상이 평행식 카메라에 의해 획득된 영상인 경우, 상기 변이 벡터의 방향이 양(+)인 경우 상기 제 1 영상을 상기 기준 시점 영상으로 결정하고, 상기 제 2 영상을 상기 부가 시점 영상으로 결정하고, 상기 변이 벡터의 방향이 음(-)인 경우 상기 제 1 영상을 상기 부가 시점 영상으로 결정하고, 상기 제 2 영상을 상기 기준 시점 영상으로 결정하는 단계를 포함한다.
일 실시예의 상기 시점 결정 단계는, 상기 스테레오스코픽 영상이 교차식 카메라에 의해 획득된 영상인 경우, 교차식 카메라의 교차점을 기준으로, 상기 교차점 앞 영역의 변이 벡터의 방향이 양(+)이고 상기 교차점 뒤 영역의 변이 벡터의 방향이 음(-)인 경우, 상기 제 1 영상을 상기 기준 시점 영상으로 결정하고 상기 제 2 영상을 상기 부가 시점 영상으로 결정하고, 상기 교차점 앞 영역의 변이 벡터의 방향이 음(-)이고 상기 교차점 뒤 영역의 변이 벡터의 방향이 양(+)인 경우, 상기 제 1 영상을 상기 부가 시점 영상으로 결정하고 상기 제 2 영상을 상기 기준 시점 영상으로 결정하는 단계를 포함한다.
일 실시예의 상기 시점 결정 단계는, 상기 제 1 영상 및 상기 제 2 영상 사이에 수직 변이가 발생하는 경우, 상기 스테레오스코픽 영상이 교차식 카메라에 의해 획득된 것으로 결정하는 단계를 더 포함한다.
일 실시예의 상기 시점 결정 단계는, 상기 기준 시점 영상 또는 상기 부가 시점 영상 중 한 시점 영상에서는 보이지만 나머지 시점 영상에서는 소정 객체에 가려서 보이지 않는 차폐 영역(occlusion region)을 검출하는 단계; 상기 차폐 영역이 보이는 영상을 상기 차폐 영역이 상기 소정 객체의 경계면을 기준으로 보이는 측면의 일 시점 카메라가 획득한 영상으로 결정하는 단계; 및 상기 차폐 영역이 보이지 않는 영상을 상기 나머지 시점 영상으로 결정하는 단계를 더 포함한다.
일 실시예의 상기 시점 결정 단계는, 상기 스테레오스코픽 영상으로부터 상기 제 1 영상에 대한 제 1 카메라 파라미터를 추출하고, 상기 스테레오스코픽 영상으로부터 상기 제 2 영상에 대한 제 2 카메라 파라미터를 추출하는 단계; 상기 제 1 카메라 파라미터로부터 상기 제 1 영상의 평행 이동 매트릭스인 제 1 평행 이동 매트릭스를 추출하고, 상기 제 2 카메라 파라미터로부터 상기 제 2 영상의 평행 이동 매트릭스인 제 2 평행 이동 매트릭스를 추출하는 단계; 상기 제 1 평행 이동 매 트릭스의 x 성분인 x1 성분 및 상기 제 2 평행 이동 매트릭스의 x 성분인 x2 성분을 비교하는 단계; 및 상기 비교 결과에 따라, 제 1 영상 및 상기 제 2 영상의 시점을 결정하는 단계를 포함하고, 상기 평행 이동 매트릭스는 세계 좌표계(world coordinate)를 기준으로 상기 제 1 영상의 좌표계 및 상기 제 2 영상의 좌표계가 공간적으로 떨어져 있는 정도를 나타낸다.
일 실시예의 상기 시점 결정 단계는, 상기 x1 성분이 상기 x2 성분보다 크다면 상기 제 1 영상을 부가 시점 영상으로 결정하고, 상기 제 2 영상을 기준 시점 영상으로 결정하고; 상기 x2 성분이 상기 x1 성분보다 크다면 상기 제 1 영상을 기준 시점 영상으로 결정하고, 상기 제 2 영상을 부가 시점 영상으로 결정하는 단계를 포함한다.
일 실시예의 스테레오 시점 결정 방법은, 상기 한 쌍의 제 1 영상 및 제 2 영상이 상기 한 쌍의 기준 시점 영상 및 부가 시점 영상 중 한 시점 영상으로 각각 결정된 시점 배열 순서에 있어서, 현재 한 쌍의 제 1 영상 및 제 2 영상에 대한 현재 시점 배열 순서가, 현재 한 쌍의 제 1 영상 및 제 2 영상 이전의 소정 복수 쌍의 제 1 영상 및 제 2 영상에 대한 이전 시점 배열 순서들과 다르면, 상기 현재 한 쌍 및 상기 소정 복수 쌍의 제 1 영상 및 제 2 영상에 대해, 상기 이전 시점 배열 순서에 기초하여 상기 스테레오스코픽 영상을 동기화하는 단계를 더 포함할 수 있다.
일 실시예의 상기 동기화 단계는, 현재 한 쌍의 제 1 영상 및 제 2 영상에 대한 현재 시점 배열 순서가 이전 한 쌍의 제 1 영상 및 제 2 영상에 대한 이전 시점 배열 순서와 다르고, 현재 한 쌍의 제 1 영상 및 제 2 영상 이후의 소정 복수 쌍의 제 1 영상 및 제 2 영상에 대한 시점 배열 순서들이 상기 현재 시점 배열 순서와 동일하게 유지된다면, 상기 현재 한 쌍 및 상기 소정 복수 쌍의 제 1 영상 및 제 2 영상에 대해, 상기 현재 시점 배열 순서 대신에 상기 이전 시점 배열 순서에 기초하여 상기 스테레오스코픽 영상을 동기화하는 단계를 포함한다.
일 실시예의 상기 동기화 단계는, 상기 소정 복수 쌍의 제 1 영상 및 제 2 영상 이후의 한 쌍의 제 1 영상 및 제 2 영상에 대한 시점 배열 순서도 상기 현재 시점 배열 순서와 동일하게 유지된다면, 상기 소정 복수 쌍 이후의 한 쌍의 제 1 영상 및 제 2 영상에 대해 상기 현재 시점 배열 순서에 기초하여 상기 스테레오스코픽 영상을 동기화하는 단계를 더 포함한다.
일 실시예의 상기 스테레오스코픽 영상의 스테레오 시점 결정 방법은, 상기 스테레오스코픽 영상이 2차원 영상의 재생 후 연이어 재생된다면, 상기 2차원 영상의 마지막 프레임과 상기 스테레오스코픽 영상의 첫 프레임 사이에 소정 개수의 빈 프레임을 삽입하는 단계; 및 상기 빈 프레임 후 각각의 한 쌍의 제 1 영상 및 제 2 영상의 시점 배열 순서에 기초하여 상기 스테레오스코픽 영상을 동기화하는 단계를 더 포함한다.
상기 해결하고자 하는 과제를 달성하기 위해, 본 발명의 일 실시예에 따른 스테레오스코픽 영상의 스테레오 시점 결정 장치는, 스테레오스코픽 영상으로부터, 서로 대응되는 한 쌍의 기준 시점 영상 및 부가 시점 영상을 위한 한 쌍의 제 1 영 상 및 제 2 영상을 선택하는 영상 선택부; 및 상기 한 쌍의 제 1 영상 및 상기 제 2 영상 사이의 시차(parallax)를 이용하여, 상기 제 1 영상을 상기 기준 시점 영상 및 상기 부가 시점 영상 중 한 시점 영상으로 결정하고, 상기 제 2 영상을 상기 기준 시점 영상 및 상기 부가 시점 영상 중 나머지 시점 영상으로 결정하는 시점 결정부를 포함한다.
일 실시예의 스테레오 시점 결정 장치는, 상기 한 쌍의 제 1 영상 및 상기 제 2 영상이 상기 기준 시점 영상 및 상기 부가 시점 영상 중 어느 하나로 각각 결정된 결과를 기초로 상기 스테레오스코픽 영상을 동기화하는 스테레오 동기화부를 포함한다.
본 발명은, 본 발명의 일 실시예에 따른 스테레오스코픽 영상의 스테레오 시점 결정 방법을 구현하기 위한 프로그램이 수록된 컴퓨터로 판독 가능한 기록 매체를 포함한다.
본 발명의 일 실시예에 따른 스테레오스코픽 영상의 스테레오 시점 결정 방법 및 장치는, 영상 데이터 정보와는 별개의 스테레오 동기 정보를 위한 부가적인 하드웨어 채널 없이도 서로 다른 시점의 스테레오스코픽 영상들 사이의 시차를 이용하여 시점을 결정할 수 있다.
보다 정확하고 효율적으로 스테레오스코픽 영상의 시점을 결정하기 위해 블록 또는 라인 단위로 변이 추정이 수행되고, 변이 벡터의 방향에 따라 시점이 결정된다. 스테레오 카메라 구조에 따라 바뀔 수 있는 변이 벡터의 방향이 구체적으로 분석됨으로써 다양한 스테레오스코픽 영상에 대해서도 시점이 분석될 수 있다.
또한 본 발명은 결정된 시점 정보를 바탕으로 급작스러운 시점 변환을 방지하며 스테레오스코픽 영상을 재생되도록 스테레오 동기화를 수행하므로 3차원 입체 영상의 시청시 발생될 수 있는 피로감을 완화시킬 수 있다.
따라서 본 발명에 따른 스테레오스코픽 영상의 스테레오 시점 결정 방법 및 장치에 의해 기존의 스테레오스코픽 영상 포맷을 좌시점 영상 및 우시점 영상의 반전 없이 재생할 수 있으며, 디스플레이 장치 측면에서 부가적인 채널 또는 토글 스위치 장치 없이, 또한 사용자 측면에서도 수동적인 토글 스위치의 작동 없이도 스테레오스코픽 영상의 올바른 입체감이 전달될 수 있다.
본 발명을 통해 3차원 멀티미디어 컨텐츠가 효율적으로 활용되며, 3차원 디스플레이 장치를 사용하는 사용자의 조작 편의성이 최소화된다. 본 발명은 기존의 영상 디스플레이 장치에서도 3차원 멀티미디어 컨텐츠 디스플레이 장치가 활용됨으로써 3차원 디스플레이 장치의 보급을 도울 수 있다.
이하 도 2 내지 도 14 를 참조하여 본 발명의 일 실시예에 따른 스테레오스코픽 영상의 스테레오 시점 결정 방법 및 장치를 상술한다.
도 2 는 본 발명의 일 실시예에 따른 스테레오스코픽 영상의 스테레오 시점 결정 장치의 블록도를 도시한다.
본 발명의 일 실시예에 따른 스테레오스코픽 영상의 스테레오 시점 결정 장치(200)는 영상 선택부(210), 시점 결정부(220)를 통해 스테레오스코픽 영상의 스 테레오 시점을 결정할 수 있다. 또한, 스테레오 시점 결정 장치(200)는 시점 결정부(220)에서 결정된 스테레오스코픽 영상의 스테레오 시점을 이용하여 스테레오 동기화를 수행하도록, 스테레오 동기화부(230) 및 디스플레이 장치(240)를 포함할 수 있다.
영상 선택부(210)는 입력된 스테레오스코픽 영상으로부터, 본 발명에 의해 서로 대응되는 한 쌍의 기준 시점 영상 및 부가 시점 영상으로 결정되기 위한 한 쌍의 제 1 영상 및 제 2 영상을 선택하고, 선택된 제 1 영상 및 제 2 영상을 시점 결정부(220)로 출력한다. 본 발명의 일 실시예는 기준 시점 영상으로 좌시점 영상을, 부가 시점 영상으로 우시점 영상을 이용할 수 있다.
영상 선택부(210)에 입력된 스테레오스코픽 영상이 각각의 프레임이 하나의 기준 시점 영상 또는 부가 시점 영상인 프레임이라면, 제 1 영상 및 제 2 영상은 각각 하나의 프레임이며 연속적으로 순서대로 입력, 처리 및 재생되는 프레임이다.
영상 선택부(210)에 입력된 스테레오스코픽 영상이, 서로 대응되는 한 쌍의 기준 시점 영상 정보 및 부가 시점 영상 정보가 결합된 영상의 프레임을 포함한다면, 기준 시점 영상의 정보 및 부가 시점 영상의 정보가 결합된 영상의 프레임으로부터 한 쌍의 기준 시점 영상 프레임 및 부가 시점 영상 프레임이 각각 복원된다. 영상 선택부(210)는 복원된 한 쌍의 기준 시점 영상 프레임 및 부가 시점 영상 프레임에 대응되기 위한 한 쌍의 제 1 영상 및 제 2 영상을 선택한다.
시점 결정부(220)는, 영상 선택부(210)로부터 입력된 한 쌍의 제 1 영상 및 제 2 영상 사이의 시차(parallax)를 이용하여, 제 1 영상을 기준 시점 영상 및 부 가 시점 영상 중 한 시점 영상으로 결정하고, 제 2 영상을 기준 시점 영상 및 부가 시점 영상 중 나머지 시점 영상으로 결정한다. 결정된 시점 배열 순서 결과는 스테레오 동기화부(230)로 출력된다.
여기서 시점 배열 순서 결과는 제 1 영상 및 제 2 영상이 각각 좌시점 영상 및 우시점 영상의 순서로 시점이 결정되거나, 우시점 영상 및 좌시점 영상의 순서로 시점이 결정되는 경우를 나타낸다.
시점 결정부(220)의 일 실시예는 제 1 영상 및 제 2 영상 사이에 대해 변이 추정을 수행하여 획득된 변이 벡터를 이용하여 각각 영상이 기준 시점 영상 또는 부가 시점 영상 중 어느 시점 영상인지 결정한다.
도 2 에 도시되지 않았지만, 시점 결정부(220)의 일 실시예는 각각의 픽셀마다 제 1 영상의 픽셀 값 및 제 2 영상의 픽셀 값의 차이가 기록된 차이 영상을 획득하는 차이 영상 획득부, 차이 영상의 블록 중 블록 내의 픽셀 값의 절대값의 합이 소정 임계치보다 큰 블록을 결정하는 블록 결정부, 및 결정된 블록에 대해서 변이 추정을 수행하는 변이 추정 수행부를 포함한다. 변이 벡터 결정부의 일 실시예의 세부 동작은 이하 도 3 내지 도 10 을 이용하여 상술된다.
시점 결정부(220)의 다른 실시예는 스테레오스코픽 영상으로부터 추출된 카메라 파라미터를 이용하여, 제 1 영상 및 제 2 영상 각각의 시점을 결정한다. 평행 이동 매트릭스는 세계 좌표계를 기준으로 제 1 영상의 좌표계 및 제 2 영상의 좌표계가 공간적으로 떨어져 있는 정도를 나타낸다.
도 2 에 도시되지 않았지만, 시점 결정부(220)의 다른 실시예는 스테레오스 코픽 영상으로부터 제 1 영상에 대한 제 1 카메라 파라미터를 추출하고, 스테레오스코픽 영상으로부터 제 2 영상에 대한 제 2 카메라 파라미터를 추출하는 카메라 파라미터 추출부, 제 1 카메라 파라미터로부터 제 1 영상의 평행 이동 매트릭스인 제 1 평행 이동 매트릭스를 추출하고, 제 2 카메라 파라미터로부터 제 2 영상의 평행 이동 매트릭스인 제 2 평행 이동 매트릭스를 추출하는 평행 이동 매트릭스 추출부, 및 제 1 평행 이동 매트릭스의 x 성분인 x1 성분 및 제 2 평행 이동 매트릭스의 x 성분인 x2 성분을 비교하는 x 성분 비교부를 포함한다.
시점 결정부(220)의 다른 실시예는 x 성분 비교부의 결과에 따라 제 1 영상 및 제 2 영상의 시점을 결정한다. 예를 들면, x1 성분이 x2 성분보다 크다면, 제 1 영상이 부가 시점 영상으로 결정되고 제 2 영상이 기준 시점 영상으로 결정된다. 또한, x2 성분이 x1 성분보다 크다면, 제 1 영상이 기준 시점 영상으로 결정되고 제 2 영상을 부가 시점 영상으로 결정된다.
스테레오 동기화부(230)는, 시점 결정부(220)로부터 입력된 한 쌍의 제 1 영상 및 제 2 영상의 시점 배열 순서 결과를 기초로 스테레오스코픽 영상을 동기화하고, 동기화된 스테레오스코픽 영상을 디스플레이 장치(240)로 출력한다.
스테레오 동기화부(230)의 일 실시예는 갑작스런 시점 배열 순서의 변화에 대비하여, 현재 한 쌍의 제 1 영상 및 제 2 영상에 대한 현재 시점 배열 순서와 이전 한 쌍의 제 1 영상 및 제 2 영상에 대한 이전 시점 배열 순서, 및 다음 한 쌍의 제 1 영상 및 제 2 영상에 대한 다음 시점 배열 순서, 즉 세 쌍의 영상에 대한 세 시점 배열 순서를 비교하여, 스테레오스코픽 영상에 대한 스테레오 동기화를 수행한다. 자세한 동작 과정은 이하 도 11 및 도 12를 참조하여 상술된다.
스테레오 동기화부(230)의 다른 실시예는, 스테레오스코픽 영상이 2 차원 영상에 이어서 입력되는 경우, 갑작스런 재생 모드의 변화에 따른 시청자의 시청 피로감을 감소하기 위해 빈 프레임을 삽입한다. 자세한 동작 과정은 이하 도 13 을 참조하여 상술된다.
디스플레이 장치(240)는 스테레오 동기화부(230)로부터 입력된 동기화된 스테레오스코픽 영상을 재생한다. 디스플레이 장치(240)는 스테레오스코픽 영상 데이터가 별개의 스테레오 동기화 정보 없이, 본 발명의 실시예들에 따른 스테레오 시점 결정 장치(200)에 따라 동기화된 스테레오스코픽 영상을 재생할 수 있다.
도 3 은 스테레오스코픽 영상의 스테레오 시점 결정 장치의 일 실시예의 세부 블록도를 도시한다. 후술되는 스테레오 시점 결정 장치(300)에 대한 설명은 스테레오스코픽 영상의 각각의 프레임이 각각 기준 시점 영상 또는 부가 시점 영상 중 한 시점 영상인 경우에 해당한다.
영상 선택부(210)의 일 실시예는 현재 프레임(303)을 입력받고, 현재 프레임(303)에 대해 한 프레임을 지연시킴(305)으로써 획득되는 이전 프레임(307)을 획득한다. 제 2 영상으로 현재 프레임(303)이 선택되고, 제 1 영상으로 이전 프레임(307)이 선택된다.
스테레오 시점 결정 장치(300)는, 차이 영상 획득부(310), 블록 결정부(320), 변이 추정 수행부(330), 시점 결정부(340)를 포함한다. 차이 영상 획득 부(310)는 각각의 픽셀마다 제 1 영상의 픽셀 값 및 제 2 영상의 픽셀 값의 차이가 기록된 차이 영상을 획득한다. 블록 결정부(320)는 차이 영상의 블록들 중 변이 벡터를 결정할 블록을 결정한다. 변이 추정 수행부(330)는 블록 결정부(320)에서 결정된 블록들에 대해 변이 추정을 수행하여 변이 벡터를 획득한다. 시점 결정부(340)는 변이 추정 수행부(330)에서 획득된 변이 벡터의 방향을 이용하여 제 1 영상 및 제 2 영상이 기준 시점 영상인 부가 시점 영상인지 여부를 결정한다.
스테레오 시점 결정 장치(300)는, 현재 한 쌍의 제 1 영상 및 제 2 영상의 현재 시점 배열 순서(343) 및 현재 한 쌍의 영상에 대해 한 주기 지연시킴(345)으로써 얻을 수 있는 이전 한 쌍의 영상들에 대한 이전 시점 배열 순서(347)를 비교(350)한다. 비교 결과에 따라 결정된 시점 배열 순서에 따라 시점 배열 순서를 전환(360)할지 유지(365)할지 여부가 결정된다.
도 4 는 차이 영상의 획득 및 블록 결정 방법을 도시한다.
변이 추정은 평활한 영역에서 오차가 발생할 확률이 높고, 특징점(feature point)이 많은 에지(edge) 부분에서 정확한 값을 얻을 확률이 높다. 따라서 시점 결정부(220)의 일 실시예는, 보다 정확한 변이 벡터를 획득하기 위해 제 1 영상(410) 및 제 2 영상(420)의 차이 영상(430)에 대해 변이 추정을 수행한다.
변이 추정을 모든 블록에 수행하면 스테레오 시점 결정 장치(200, 300)의 실시간 구현이 어렵기 때문에, 시점 결정부(220)의 일 실시예는 차이 영상(430)의 일부 영역에 대해서만 변이 추정을 수행한다. 즉, 차이 영상(430)을 블록 단위(435)로 구분한 경우, 특히 변이가 큰 블록, 에지 성분이 많은 블록에 대해서만 변이 벡 터를 결정하기 위해 두 영상의 픽셀 값의 차이 값이 큰 블록이 선택된다.
수학식 1 는 기준 시점 영상 및 부가 시점 영상이 좌시점 영상(L(i,j)) 및 우시점 영상(R(i,j))인 경우를 가정하고 있다. 제 1 영상 및 제 2 영상도 각각 좌시점 영상 및 우시점 영상 중 한 시점 영상으로 선택될 수 있다. 시점 결정부(220)의 일 실시예는 제 1 영상(410) 및 제 2 영상(420)의 동일 블록 위치의 블록 내 픽셀들 사이의 차이의 절대값의 합, 즉 차이 영상(430)의 블록의 픽셀 값의 절대값의 합(SumResi)을 구한다.
또한, 시점 결정부(220)의 일 실시예는 차이 영상(430)의 블록의 픽셀 값의 절대값의 합(SumResi)이 소정 임계치(THResi)보다 큰 블록에 대해서만 변이 추정을 수행한다. 임계치(THResi)가 작을수록 두 시점 사이의 변이에 민감하지만 연산량이 많아지며, 임계치(THResi)가 클수록 변이에는 덜 민감하지만 연산 효율성이 높아진다.
시점 결정부(220)의 일 실시예는, 변이 추정의 정확성을 더욱 높이기 위해 영상의 좌우 가장자리 블록에 대해서는 변이 추정을 수행하지 않을 수도 있다. 영상의 좌우 가장자리 영역(440, 445)은 경계 차폐(boundary occlusion) 영역이 있으므로 변이 추정에 적합하지 않다. 따라서, 시점 결정부(220)의 일 실시예는, 영상의 좌우 가장자리 블록을 제외한 블록(450) 중에서, 차이 영상의 블록의 픽셀 값의 절대값의 합(SumResi)이 소정 임계치(THResi)보다 큰 블록 대해서만 변이 추정을 수행한다.
도 5a 는 블록 단위로 기준 시점 영상 및 부가 시점 영상의 변이를 추정하는 방법을 도시한다.
시점 결정부(220)의 일 실시예는, 제 1 영상(510)의 블록과 제 2 영상(520)의 블록 사이의 변이 벡터의 방향을 결정하기 위해, 소정 블록 위치를 선택한다. 즉, 도 4를 참조하여 설명된 블록 결정 방법에 의해 결정된 현재 블록 위치를 기준으로 하고, 기준 시점 및 부가 시점이 각각 좌시점 및 우시점이므로, 서로 상대적인 변이는 좌우 방향의 변이일 수 있다. 현재 블록 위치로부터 좌측으로 소정 거리만큼 평행 이동된 블록 위치인 제 1 블록 위치, 현재 블록 위치인 제 2 블록 위치, 현재 블록 위치로부터 우측으로 소정 거리만큼 평행 이동된 블록 위치인 제 3 블록 위치를 선택한다. 좌우로 평행 이동될 소정 거리는 연산량 및 정확성을 고려하여 결정된다.
시점 결정부(220)의 일 실시예는, 변이 벡터의 방향을 찾기 위해 제 1 영상(510)의 현재 블록 위치의 블록(515)과 제 2 영상(520)의 제 1 블록 위치의 블록(523) 사이의 차이도를 최소 차분 절대치의 합(Sum of Absolute Difference, SAD)을 이용한다. 즉 제 1 영상(510)의 현재 블록 위치의 블록(515)과 제 2 영상(520)의 제 1 블록 위치의 블록(523) 사이의 SAD 값인 제 1 SAD 값이 결정된다.
또한, 제 1 영상(510)의 현재 블록 위치의 블록(515)과 제 2 영상(520)의 제 2 블록 위치의 블록(525) 사이의 SAD 값인 제 2 SAD 값, 제 1 영상(510)의 현재 블록 위치의 블록(515)과 제 2 영상(520)의 제 3 블록 위치의 블록(527) 사이의 SAD 값인 제 3 SAD 값이 결정된다.
본 발명은 제 1 블록 위치, 제 2 블록 위치, 제 3 블록 위치에서만 SAD를 계산하므로, 영상 전체 범위에 대해 변이 추정을 수행하는 기존 방법에 대해 연산 효율성이 높다. 또한 픽셀 단위가 아닌 블록 단위로 SAD 값이 계산되므로 변이 벡터의 방향이 보다 정확하게 결정되고 평행식 카메라 구조에서 효과적이다.
도 5b 는 라인 단위로 기준 시점 영상 및 부가 시점 영상의 변이를 추정하는 방법을 도시한다.
시점 결정부(220)의 다른 실시예는, 도 5a 를 참조하여 블록 단위의 변이 추정보다 연산 효율성을 더 높이기 위해, 라인 단위로 변이 추정을 수행한다. 또한 하드웨어 구현시 메모리 억세스 측면에서, 블록 단위의 데이터 처리 방식보다 라인 단위의 데이터 처리 방식이 유리하다.
라인 단위의 변이 추정은 현재 라인 위치로부터 좌측으로 소정 거리만큼 평행 이동된 픽셀로부터 우측으로 소정 거리만큼 평행 이동된 픽셀까지의 검색 범위(580) 내에서 수행된다. 즉, 제 1 영상(560)의 현재 라인 위치의 픽셀들(565)과, 제 2 영상(570)의 현재 라인 위치의 픽셀들(575)로부터 검색 범위(580) 내에서 픽셀 단위로 좌측 방향 또는 우측 방향으로 평행 이동된 라인 위치 내의 픽셀들 사이의 SAD 값들이 결정된다.
도 6a 는 단일모드 에러 표면 가정(UESA)을 설명하기 위한 벡터들을 도시한 다.
본 발명은 복수의 SAD 값의 비교를 통해 변이 벡터 방향을 결정하기 위해, 단일 모드 에러 표면 가정(Unimodal Error Surface Assumption, UESA)을 이용한다. 현재 벡터(v1)(610)에 대해 임의의 두 벡터 Vc1(620) 및 Vc2(630)의 근사도를 알아보기 위해 단일 모드 에러 표면 가정이 이용되는 방법이 도 6b에서 후술된다.
도 6b 는 단일모드 에러 표면 가정(UESA)을 통한 변이 벡터 방향의 결정 방법을 설명한다.
단일 모드 에러 표면 가정에 따르면, 에러값은 전역 최소 에러값이 발생하는 지점으로부터 멀어질수록 단조 증가(monotonically increase)한다. 도 6b를 참조하면, SAD 곡선(650) 상에 v1(610)과 v1(610) 사이의 SAD 값인 SADv1(660), v1(610)과 Vc1(620) 사이의 SAD 값인 SADVc1(670), v1(610)과 Vc2(630) 사이의 SAD 값인 SADVc2(680)가 각각 분포한다. 단일 모드 에러 표현 가정에 따르면, SADv1(660), SADVc1(670), SADVc2(680)로 갈수록 단조 증가하므로, v1(610)에 대해 v1(610), Vc1(620), Vc2(630)로 갈수록 에러가 커짐을 알 수 있다.
시점 결정부(220)의 일 실시예는 단일 모드 에러 표면 가정에 따라, 도 5a 및 도 5b 를 참조하여 설명된 블록 단위의 변이 추정과 라인 단위의 변이 추정에서의 블록(라인)들의 SAD 값의 비교함으로써 변이 벡터의 방향을 결정한다.
즉, 도 5a의 블록 단위 변이 추정에서는, 제 1 블록 위치에 대한 제 1 SAD 값, 제 2 블록 위치에 대한 제 2 SAD 값, 제 3 블록 위치에 대한 제 3 SAD 값이 단조 증가한다면, 제 2 영상(520)의 제 1 블록 위치의 블록(523)이 제 1 영상(510)의 현재 블록 위치의 블록(515)와의 SAD값이 가장 작으므로, 변이 벡터는 음(-)의 방향으로 결정된다.
마찬가지로, 제 1 블록 위치에 대한 제 1 SAD 값, 제 2 블록 위치에 대한 제 2 SAD 값, 제 3 블록 위치에 대한 제 3 SAD 값이 단조 감소한다면, 변이 벡터는 양(+)의 방향으로 결정된다.
도 5b의 라인 단위 변이 추정에서, 제 1 영상(560)의 현재 라인 위치의 위치(565)에 대해 SAD가 가장 작은 제 2 영상(570)의 소정 라인으로 평행 이동된 방향이 변이 벡터의 방향으로 결정된다.
이하 도 7a 내지 도 9 를 참조하여, 변이 벡터의 방향에 의해 제 1 영상 및 제 2 영상이 기준 시점 영상 또는 부가 시점 영상으로 결정되는 방법이 상술된다. 이하의 설명에서 예시로 이용된 기준 시점 및 부가 시점은 좌시점 및 우시점이다.
도 7a 는 평행식 카메라 구조의 일례를 도시한다.
스테레오 카메라 구조에서는 좌측 카메라(710) 및 우측 카메라(720)에 의해 동일 대상(700)이 촬영된다. 좌측 카메라(710)에 의해 좌시점 영상이 획득되고, 우측 카메라(720)에 의해 우시점 영상이 획득된다. 평행식 카메라 구조에서는 좌측 카메라(710) 및 우측 카메라(720)가 평행하게 배열되므로, 좌시점 영상 및 우시점 영상 사이의 변이 벡터가 역전되는 현상이 발생되지 않는다.
도 7b 는 교차식 카메라 구조의 일례를 도시한다.
교차식 카메라 구조는 좌측 카메라(760) 및 우측 카메라(770)가 각각 촬영 대상(750)을 바라보는 방향이 교차될 수 있다. 따라서 좌시점 영상 및 우시점 영상 사이의 변이 벡터가 역전되는 현상이 발생될 수 있다.
도 8 은 평행식 카메라 구조의 경우, 변이 벡터의 방향에 의한 시점 결정 방법을 도시한다.
평행식 카메라 구조의 경우 변이 벡터가 역전되지 않으므로 변이 벡터의 방향을 알면 스테레오스코픽 영상의 시점을 단순하게 결정할 수 있다. 평행식 카메라 구조의 경우 시점 결정 방식을 단순화하기 위해, "좌시점 영상의 한 점 V1=(x1, y1)과 우시점 영상의 한 점 V2=(x2, y2)이 서로 대응될 때 수직 성분에 대해 y1 및 y2 는 일치하고 수평 성분에 대해 x1 > x2 이 만족된다"는 가정이 필요하다.
전술된 가정에 따르면, 변이 벡터 DV가 DV = x(V1) - x(V2) = x1 - x2 에 의해 획득된다면, 변이 벡터가 0보다 크다면, 즉 변이 벡터의 방향이 양(+)이라면 제 1 영상이 좌시점 영상으로 결정되고, 제 2 영상이 우시점 영상으로 결정될 수 있다. 마찬가지로, 변이 벡터가 0보다 작다면, 즉 변이 벡터의 방향이 음(-)이라면 제 1 영상이 우시점 영상으로 결정되고, 제 2 영상이 좌시점 영상으로 결정될 수 있다.
도 9a 는 교차식 카메라 구조의 경우, 시점 방향 및 교차점을 도시한다.
좌측 카메라(910) 및 우측 카메라(920)가 동일 대상(900)을 촬영할 때, 교차점을 통과하는 수선을 기준으로 좌측 카메라(910) 및 우측 카메라(920)의 촬영 시 점의 방향은 교차하게 된다. 두 카메라의 촬영 시점 방향은 교차점(905)을 형성한다.
도 9b 는 교차식 카메라 구조의 경우, 시점에 따른 영상을 도시한다.
도 9b 에서 도시된 두 영상은 각각 도 9a 에서 도시된 교차식 카메라 구조 중 좌측 카메라(910)에 의해 촬영된 좌시점 영상(930) 및 우측 카메라(920)에 의해 촬영된 우시점 영상(940)이다.
좌시점 영상(930)은 교차점(905)의 하단 영역은 오른쪽으로 치우치게 되나, 교차점(905)의 상단 영역은 왼쪽으로 치우치게 된다. 마찬가지로 우시점 영상(940)은 교차점(905)의 하단 영역은 왼쪽으로 치우치게 되나, 교차점(905)의 상단 영역은 오른쪽으로 치우치게 된다. 즉, 교차점을 기준으로 영상의 상하 영역이 서로 반대 방향으로 치우치게 되는 수직 변이가 발생한다.
본 발명의 일 실시예는 제 1 영상 및 제 2 영상 사이에 수직 변이가 발생하는 경우, 스테레오스코픽 영상이 교차식 카메라에 의해 획득된 것으로 결정할 수 있다.
도 9c 는 교차식 카메라 구조의 경우, 교차점을 기준으로 한 변이 벡터의 방향을 도시한다.
도 9b 에서 도시된 좌시점 영상(930) 및 우시점 영상(940)이 교차점을 기준으로 상하로 영상이 서로 반대 방향으로 치우친다. 이러한 현상을 변이 벡터에 적용하면, 교차점 아래 영역(950)에서는 변이 벡터(955)의 방향이 음(-)의 방향이지만, 교차점 위 영역(960)에서는 변이 벡터(965)의 방향이 양(+)의 방향이다. 즉, 좌시점 영상(930) 및 우시점 영상(940) 사이의 변이 벡터가 교차점(905)을 기준으로 역전하게 된다.
따라서, 교차식 카메라의 경우는 평행식 카메라와는 달리 교차점의 위치에 따른 변이 벡터의 방향을 고려하여 제 1 영상 및 제 2 영상의 시점이 결정되어야 한다. 예를 들면, 교차점 앞 영역의 변이 벡터의 방향이 양(+)이고 교차점 뒤 영역의 변이 벡터의 방향이 음(-)인 경우, 제 1 영상은 좌시점 영상으로 결정되고 제 2 영상은 우시점 영상으로 결정된다. 마찬가지로, 교차점 앞 영역의 변이 벡터의 방향이 음(-)이고 교차점 뒤 영역의 변이 벡터의 방향이 양(+)인 경우, 제 1 영상이 우시점 영상으로 결정되고 제 2 영상이 좌시점 영상으로 결정된다.
다만, 교차식 카메라에 의해 획득된 스테레오스코픽 영상이라도, 교차점과 카메라 사이의 영역에서는 평행식 카메라 구조에서의 변이 벡터 방향과 동일하므로 평행식 카메라 구조의 경우와 동일한 방식으로 두 카메라의 시점을 결정할 수 있다.
도 10 은 차폐 영역에 의한 시점 결정 방법을 도시한다.
좌시점 영상 및 우시점 영상을 인위적으로 평행 이동시키는 과정 등의 주시각 제어 후처리 과정이 추가적으로 수행되면 도 8 을 참조하여 전술된 시점 결정을 위한 가정이 만족될 수 없다. 또한, 복잡한 객체들이 엉켜 있는 형태이거나 카메라 초점이 가시 영역을 벗어난 경우에도 역시 전술된 가정이 만족될 수 없다.
시점 결정부(220)의 일 실시예는 전술된 가정이 만족되지 않는 경우를 포함하여 변이 추정을 통한 시점 결정 방식을 보완하기 위해 차폐 영역(occlusion region)을 이용한다. 차폐 영역이란 한쪽 시점에서는 보이지만 다른 시점에서는 보이지 않는 영역을 의미한다. 차폐 영역은 객체의 경계면에서 주로 발생한다.
즉 육면체, 구, 원뿔의 정면 영상(1000)에서는 육면체 상의 어두운 영역(1003) 및 원뿔 상의 어두운 영역(1005)이 조금 보인다. 그러나 정면 영상(1000)의 객체들을 스테레오 카메라로 촬영하여 스테레오스코픽 영상을 획득한다면, 좌시점 영상에서는 좌측에 위치한 육면체의 어두운 영역(1013)이 보이지만, 우시점 영상에서는 육면체의 어두운 영역이 보이지 않는다. 즉, 우시점 영상에서는 육면체의 어두운 영역(1003 또는 1013)이 차폐 영역이 된다. 마찬가지로 우시점 영상에서는 우측에 위치한 원뿔의 어두운 영역(1025)이 보이지만, 좌시점 영상에서는 원뿔의 어두운 영역이 보이지 않는다. 즉, 좌시점 영상에서는 원뿔의 어두운 영역(1005 또는 1025)이 차폐 영역이 된다.
따라서, 차폐 영역을 이용하면 스테레오스코픽 영상의 시점 결정 방식을 보완할 수 있다. 객체의 경계면을 기준으로, 제 1 영상에서는 보이지 않는 영역이 제 2 영상에서 객체의 오른쪽 영역에서 보인다면, 제 2 영상이 우시점 영상이 되고, 제 1 영상이 좌시점 영상이 된다. 마찬가지로, 제 1 영상에서는 보이지 않는 영역이 제 2 영상에서는 객체의 왼쪽 영역에서 보인다면, 제 2 영상이 좌시점 영상이 되고, 제 1 영상이 우시점 영상이 된다.
도 7a 내지 도 10을 참조하여 변이 벡터 방향의 결정 방법이 상술되었다. 시점 결정부(220)는 결정된 변이 벡터 방향의 갯수를 파악하여 전체적인 변이 벡터 방향의 경향을 추정한다. 시점 결정부(220)의 일 실시예는 결정된 모든 변이 벡터 중 방향이 양인 변이 벡터와 음인 변이 벡터의 수가 더 많은 쪽의 방향으로 스테레오스코픽 영상의 시점을 최종적으로 결정한다.
도 11 은 스테레오 동기화 제어 방법을 도시한다.
스테레오스코픽 영상 출력 장치(1100)는 A/D 보드(1110), 타이밍 컨트롤러(1120), 스테레오 제어 장치(1160)을 포함한다. A/D 보드(1110)는 아날로그 스테레오스코픽 영상 신호를 입력 받아 디지털 스테레오스코픽 영상 신호로 변환하고 출력한다. 타이밍 컨트롤러(1120)는 A/D 보드(1110)로부터 입력된 디지털 스트레오 영상 신호의 수직 동기 신호를 발생시킨다. 스테레오 동기 신호는 후술되는 다양한 방식에 의해 획득될 수 있으며, 스테레오 제어 장치(1160)는 수직 동기 신호 및 스테레오 동기 신호를 이용하여 스테레오스코픽 영상의 스테레오 동기화를 제어한다.
기존의 스테레오 동기화 장치는 그래픽 카드 및 디코더(1130)를 통해 스테레오스코픽 영상 신호와는 별개로 스테레오 동기 신호를 발생시킨다. 이 방식은 별개의 스테레오 동기 신호를 전달하기 위한 부가적인 채널을 필요로 한다. 또한, 기존의 토글 스위치 방식은 사용자가 원하는 순간 토글 스위치(1140)를 작동함으로써 스테레오 동기를 변환시키지만, 사용자의 수동적인 작동이 필요하다.
본 발명의 일 실시예에 따른 스테레오 시점 결정 장치(200, 300)는 시스템에 입력된 스테레오스코픽 영상 신호의 영상 데이터만을 시점 결정부(1150)에서 분석함으로써 결정된 시점 결과에 따라 스테레오스코픽 영상의 시점을 동기화할 수 있다. 따라서, 스테레오 시점 결정 장치(200, 300)는 부가적인 스테레오 동기 신호 전송 채널이나 토글 스위치(1140)가 필요 없다.
도 12a 는 시점 배열 순서가 급격히 변하는 스테레오스코픽 영상을 도시한다.
영상 1201 내지 1216의 스테레오스코픽 영상이 순차적으로 처리될 때, 서로 대응되는 한 쌍의 제 1 영상 및 제 2 영상의 시점 배열 순서가 분석된다. 도 12a 에서는 제 1 영상, 제 2 영상의 시점 배열 순서가 좌시점 영상, 우시점 영상일 때 LR라고 표시된다. 반대로 제 1 영상, 제 2 영상의 시점 배열 순서가 우시점 영상, 좌시점 영상일 때 RL라고 표시된다.
도 12a 에 도시된 스테레오스코픽 영상에 있어서, 제 1 영상 1201, 제 2 영상 1202의 시점 배열 순서(1222), 제 1 영상 1203, 제 2 영상 1204의 시점 배열 순서(1224), 제 1 영상 1205, 제 2 영상 1206의 시점 배열 순서(1226), 제 1 영상 1207, 제 2 영상 1208의 시점 배열 순서(1228), 제 1 영상 1209, 제 2 영상 1210의 시점 배열 순서(1230), 제 1 영상 1211, 제 2 영상 1212의 시점 배열 순서(1232), 제 1 영상 1213, 제 2 영상 1214의 시점 배열 순서(1234), 제 1 영상 1215, 제 2 영상 1216의 시점 배열 순서(1236)는 각각 LR, LR, LR, RL, LR, LR, LR, LR 이다.
즉, 시점 배열 순서가 한동안 LR(1222, 1224, 1226)로 유지되다 RL(1228)로 갑자기 변경되고, 다시 LR(1230, 1232, 1234, 1236)로 변환된다. 이렇게 갑작스러운 시점 배열 순서의 변경은 시청자에게 피로감을 줄 수 있다.
도 12b 는 본 발명의 스테레오 동기화부의 일 실시예를 도시한다.
시점 배열 순서의 갑작스러운 변경에 따른 시청 피로감을 방지하기 위해, 스테레오 동기화부(230)의 일 실시예는, 현재 시점 배열 순서와 이전 시점 배열 순 서, 다음 시점 배열 순서를 모두 고려하여 스테레오스코픽 영상의 스테레오 동기화를 수행한다.
도 12b 에 도시된 스테레오스코픽 영상에 있어서, 제 1 영상 1251, 제 2 영상 1252의 시점 배열 순서(1272), 제 1 영상 1253, 제 2 영상 1254의 시점 배열 순서(1274), 제 1 영상 1255, 제 2 영상 1256의 시점 배열 순서(1276), 제 1 영상 1257, 제 2 영상 1258의 시점 배열 순서(1278), 제 1 영상 1259, 제 2 영상 1260의 시점 배열 순서(1280), 제 1 영상 1261, 제 2 영상 1262의 시점 배열 순서(1282), 제 1 영상 1263, 제 2 영상 1264의 시점 배열 순서(1284), 제 1 영상 1265, 제 2 영상 1266의 시점 배열 순서(1286)는 각각 LR, LR, LR, RL, RL, RL, RL, RL 이다.
스테레오 동기화부(230)의 일 실시예는 시점 배열 순서가 LR(1272, 1274, 1276)에서 RL(1278)로 변경되더라도 변경된 시점 배열 순서를 스테레오 동기화 작업에 바로 적용하지 않고, 소정 주기 동안 다음 시점 배열 순서를 관찰한다. 예를 들면, 시점 배열 순서의 변경(시점 배열 순서 1276의 LR에서 시점 배열 순서 1278의 RL로의 변경)이 발생하고, 네 쌍의 영상(1257/1258, 1259/1260, 1261/1262, 1263/1264)의 시점 배열 순서 1278, 1280, 1282, 1284까지 관찰한 후 변경된 시점 배열 순서인 RL로 계속 유지된다면, 시점 배열 순서가 RL로 변경된 네 쌍의 영상(1257/1258, 1259/1260, 1261/1262, 1263/1264)부터 바로 변경된 시점 배열 순서 RL로 반영하지 되지 않고, 그 이후의 한 쌍의 영상(1265/1266)부터 변경된 시점 배열 순서 RL(1286)에 기초하여 스테레오 동기화를 수행하도록 한다.
이때 변경된 시점 배열 순서가 지속되는지 여부를 관찰하는 소정 주기는 시 청자가 실제 시점 배열 순서에 따라 스테레오 동기화가 이루어지지 않더라도, 시청자가 위화감을 느끼지 못할 정도의 짧은 시간인 것이 바람직하다.
도 13 은 본 발명의 스테레오 동기화부의 다른 실시예를 도시한다.
본 발명의 일 실시예에 따른 스테레오 시점 결정 장치(200, 300)는 스테레오스코픽 영상으로부터 직접 시차를 분석하여 시점을 결정한다. 그러나 시점 배열 순서가 이미 주어진 경우에는 주어진 시점 배열 순서에 따라 스테레오 동기화가 수행될 수 있다.
다만, 2차원 영상(1301, 1302, 1303)이 재생되다가 갑자기 3차원 영상(1307, 1308, 1309, 1310, 1311, 1312, 1313, 1314, 1315)이 재생된다면 시청자가 피로감을 느낄 수 있으므로, 스테레오 동기화부(230)의 다른 실시예는 갑작스런 비디오 재생 모드의 변경을 완화하기 위해 2차원 영상 주기와 3차원 영상 주기 사이에 소정 프레임 주기만큼의 빈 영상(1304, 1305, 1306)을 삽입한다. 빈 영상이 삽입되는 프레임 주기는 시청자가 빈 영상의 존재를 인지하지 못할 정도의 시간이어야 한다.
스테레오 동기화부(230)의 다른 실시예는, 빈 영상이 끝나고 3차원 영상의 재생 모드가 시작되는 지점부터는 주어진 시점 배열 순서에 따라 스테레오 동기화를 수행한다.
도 14 는 본 발명의 일 실시예에 따른 스테레오스코픽 영상의 스테레오 시점 결정 방법의 흐름도를 도시한다.
단계 1410에서, 스테레오스코픽 영상으로부터 서로 대응되는 한 쌍의 기준 시점 영상 및 부가 시점 영상을 위한 한 쌍의 제 1 영상 및 제 2 영상이 선택된다.
스테레오스코픽 영상의 한 프레임이 각각 기준 시점 영상 또는 부가 시점 영상인 경우는 각각의 프레임이 제 1 영상 또는 제 2 영상으로 선택된다. 스테레오스코픽 영상의 한 프레임이 기준 시점 영상 정보 및 부가 시점 영상 정보를 포함하는 경우, 한 프레임으로부터 기준 시점 영상의 한 프레임 및 부가 시점 영상의 한 프레임이 복원되어, 복원된 각각의 시점 영상에 대한 프레임이 각각 제 1 영상 또는 제 2 영상으로 선택된다.
단계 1420에서, 한 쌍의 제 1 영상 및 제 2 영상 사이의 시차를 이용하여, 제 1 영상이 기준 시점 영상 및 부가 시점 영상 중 한 시점 영상으로 결정되고, 제 2 영상이 기준 시점 영상 및 부가 시점 영상 중 나머지 시점 영상으로 결정된다.
본 발명의 스테레오 시점 결정 방법의 일 실시예에서, 서로 대응되는 한 쌍의 영상에 대해 변이 추정을 수행하여 획득된 변이 벡터의 방향 및 각도를 이용하여 각각의 영상의 시점이 결정된다.
다른 실시예에서, 한 쌍의 영상에 대한 카메라 파라미터의 평행 이동 매트릭스의 x 성분을 차이 성분의 방향을 이용하여 각각의 영상의 시점이 결정된다.
변이 벡터의 방향에 따른 시점 결정 방식은, 스테레오스코픽 카메라 구조가 평행식 구조인지 교차식 구조인지에 따라 달라질 수 있다. 또한 변이 벡터 방향에 따른 시점 결정 방식을 보완하기 위해 차폐 영역의 방향에 따라 영상의 각각의 시점을 결정할 수도 있다.
단계 1430에서, 한 쌍의 제 1 영상 및 제 2 영상이 기준 시점 영상 및 부가 시점 영상 중 어느 하나로 각각 결정된 결과를 기초로 스테레오스코픽 영상이 동기 화된다.
시점 배열 순서의 갑작스러운 변화를 방지하기 위해, 현재 한 쌍 영상의 시점 배열 순서 뿐만 아니라 이전 한 쌍 영상의 시점 배열 순서 및 다음 한 쌍 영상의 시점 배열 순서를 고려하여 스테레오스코픽 영상의 스테레오 동기화가 수행된다.
또한 변경된 시점 배열 순서를 스테레오 동기화에 바로 반영하지 않고 다음 영상들의 몇 회의 시점 배열 순서들을 관찰하여 변경된 시점 배열 순서가 유지된다면, 변경된 시점 배열 순서를 기초로 스테레오 동기화가 수행된다.
다른 실시예에서는 시점 배열 순서가 이미 주어지고, 2차원 영상이 재생되다가 3차원 영상이 재생되어야 한다면, 2차원 영상의 재생이 완료된 후 몇 프레임 간 빈 영상을 재생하고 주어진 시점 배열 순서에 기초하여 3차원 영상이 재생되도록 한다.
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
도 1 은 스테레오스코픽 영상 포맷 변환 장치와 디스플레이 장치와의 관계를 도시한다.
도 2 는 본 발명의 일 실시예에 따른 스테레오스코픽 영상의 스테레오 시점 결정 장치의 블록도를 도시한다.
도 3 은 스테레오스코픽 영상의 스테레오 시점 결정 장치의 일 실시예의 세부 블록도를 도시한다.
도 4 는 차이 영상의 획득 및 블록 결정 방법을 도시한다.
도 5a 는 블록 단위로 기준 시점 영상 및 부가 시점 영상의 변이를 추정하는 방법을 도시한다.
도 5b 는 라인 단위로 기준 시점 영상 및 부가 시점 영상의 변이를 추정하는 방법을 도시한다.
도 6a 는 단일모드 에러 표면 가정(UESA)을 설명하기 위한 벡터들을 도시한다.
도 6b 는 단일모드 에러 표면 가정(UESA)을 통한 변이 벡터 방향의 결정 방법을 설명한다.
도 7a 는 평행식 카메라 구조의 일례를 도시한다.
도 7b 는 교차식 카메라 구조의 일례를 도시한다.
도 8 은 평행식 카메라 구조의 경우, 변이 벡터의 방향에 의한 시점 결정 방법을 도시한다.
도 9a 는 교차식 카메라 구조의 경우, 시점 방향 및 교차점을 도시한다.
도 9b 는 교차식 카메라 구조의 경우, 시점에 따른 영상을 도시한다.
도 9c 는 교차식 카메라 구조의 경우, 교차점을 기준으로 한 변이 벡터의 방향을 도시한다.
도 10 은 차폐 영역에 의한 시점 결정 방법을 도시한다.
도 11 은 스테레오 동기화 제어 방법을 도시한다.
도 12a 는 시점 배열 순서가 급격히 변하는 스테레오스코픽 영상을 도시한다.
도 12b 는 본 발명의 스테레오 동기화부의 일 실시예를 도시한다.
도 13 은 본 발명의 스테레오 동기화부의 다른 실시예를 도시한다.
도 14 는 본 발명의 일 실시예에 따른 스테레오스코픽 영상의 스테레오 시점 결정 방법의 흐름도를 도시한다.
Claims (41)
- 스테레오스코픽 영상으로부터, 서로 대응되는 한 쌍의 기준 시점 영상 및 부가 시점 영상을 위한 한 쌍의 제 1 영상 및 제 2 영상을 선택하는 단계; 및상기 한 쌍의 제 1 영상 및 상기 제 2 영상 사이의 시차(parallax)를 이용하여, 상기 제 1 영상을 상기 기준 시점 영상 및 상기 부가 시점 영상 중 한 시점 영상으로 결정하고, 상기 제 2 영상을 상기 기준 시점 영상 및 상기 부가 시점 영상 중 나머지 시점 영상으로 결정하는 단계를 포함하는 것을 특징으로 하는 스테레오스코픽 영상의 스테레오 시점 결정 방법.
- 제 1 항에 있어서,상기 한 쌍의 제 1 영상 및 상기 제 2 영상이 상기 기준 시점 영상 및 상기 부가 시점 영상 중 어느 하나로 각각 결정된 결과를 기초로 상기 스테레오스코픽 영상을 동기화하는 단계를 더 포함하는 것을 특징으로 하는 스테레오스코픽 영상의 스테레오 시점 결정 방법.
- 제 1 항에 있어서, 상기 한 쌍의 제 1 영상 및 제 2 영상 선택 단계는,서로 대응되는 한 쌍의 기준 시점 영상의 정보 및 부가 시점 영상의 정보가 결합된 영상이 상기 스테레오스코픽 영상에 포함된 경우,상기 기준 시점 영상의 정보 및 부가 시점 영상의 정보가 결합된 영상으로부 터 상기 한 쌍의 기준 시점 영상 및 상기 부가 시점 영상을 복원하는 단계; 및상기 복원된 한 쌍의 기준 시점 영상 및 부가 시점 영상을 위한 한 쌍의 제 1 영상 및 제 2 영상을 선택하는 단계를 포함하는 것을 특징으로 하는 스테레오스코픽 영상의 스테레오 시점 결정 방법.
- 제 1 항에 있어서, 상기 기준 시점 영상 및 부가 시점 영상 결정 단계는,상기 한 쌍의 제 1 영상 및 상기 제 2 영상 사이의 시차로써, 상기 한 쌍의 제 1 영상 및 상기 제 2 영상에 대해 변이 추정 기법을 수행하여 변이 벡터를 결정하는 단계; 및상기 결정된 변이 벡터를 이용하여, 상기 제 1 영상의 시점 및 상기 제 2 영상의 시점을 각각 결정하는 단계를 포함하는 것을 특징으로 하는 스테레오스코픽 영상의 스테레오 시점 결정 방법.
- 제 4 항에 있어서, 상기 변이 벡터 결정 단계는,각각의 픽셀마다 상기 제 1 영상의 픽셀 값 및 상기 제 2 영상의 픽셀 값의 차이가 기록된 차이 영상을 획득하는 단계;상기 차이 영상의 블록 중 블록 내의 픽셀 값의 절대값의 합이 소정 임계치보다 큰 블록을 결정하는 단계; 및상기 결정된 블록에 대해서 변이 추정을 수행하는 단계를 포함하는 것을 특징으로 하는 스테레오스코픽 영상의 스테레오 시점 결정 방법.
- 제 5 항에 있어서, 상기 블록 결정 단계는,상기 차이 영상의 좌측 가장자리 영역 및 우측 가장자리 영역의 블록을 제외한 블록들 중에서, 상기 차이 영상의 블록 중 블록 내의 픽셀 값의 절대값의 합이 소정 임계치보다 큰 블록을 결정하는 단계를 더 포함하는 것을 특징으로 하는 스테레오스코픽 영상의 스테레오 시점 결정 방법.
- 제 5 항에 있어서, 상기 변이 추정 수행 단계는,현재 블록 위치, 상기 현재 블록 위치로부터 소정 거리만큼 좌측으로 평행 이동된 좌측 블록 위치, 상기 현재 블록 위치로부터 상기 소정 거리만큼 우측으로 평행 이동된 우측 블록 위치에 있어서,상기 제 1 영상의 상기 현재 블록 위치의 픽셀들과 상기 제 2 영상의 상기 좌측 블록 위치의 픽셀들 사이의 차이도인 제 1 차이도를 결정하는 단계;상기 제 1 영상의 상기 현재 블록 위치의 픽셀들과 상기 제 2 영상의 상기 현재 블록 위치의 픽셀들 사이의 차이도인 제 2 차이도를 결정하는 단계;상기 제 1 영상의 상기 현재 블록 위치의 픽셀들과 상기 제 2 영상의 상기 우측 블록 위치의 픽셀들 사이의 차이도인 제 3 차이도를 결정하는 단계;상기 제 1 차이도, 제 2 차이도 및 제 3 차이도를 비교하는 단계;상기 차이도들의 비교 결과에 따라, 상기 변이 벡터의 방향을 결정하는 단계를 포함하는 것을 특징으로 하는 스테레오스코픽 영상의 스테레오 시점 결정 방법.
- 제 7 항에 있어서, 상기 변이 벡터의 방향 결정 단계는,상기 차이도가 상기 제 3 차이도, 상기 제 2 차이도 및 상기 제 1 차이도 순으로 작아진다면, 상기 변이 벡터의 방향을 음의 방향으로 결정하고,상기 차이도가 상기 제 1 차이도, 상기 제 2 차이도 및 상기 제 3 차이도 순으로 작아진다면, 상기 변이 벡터의 방향을 양의 방향으로 결정하는 단계를 포함하는 것을 특징으로 하는 스테레오스코픽 영상의 스테레오 시점 결정 방법.
- 제 5 항에 있어서, 상기 변이 추정 수행 단계는,현재 블록 위치의 소정 가로 방향의 픽셀들에 대한 현재 라인 위치, 상기 현재 라인 위치로부터 소정 거리만큼 좌측 및 우측 방향으로 평행 이동된 픽셀들을 포함하는 검색 범위에 있어서,상기 제 1 영상의 상기 현재 라인 위치의 픽셀들과, 상기 제 2 영상의 상기 검색 범위 내에서 상기 현재 라인 위치로부터 좌측 또는 우측 방향으로 평행 이동된 라인 위치의 픽셀들 사이의 차이도를 결정하는 단계;상기 라인별로 결정된 차이도들을 비교하는 단계; 및상기 비교 결과에 따라, 가장 작은 차이도를 갖는 라인의 방향으로 변이 벡터 방향을 결정하는 단계를 포함하는 것을 특징으로 하는 스테레오스코픽 영상의 스테레오 시점 결정 방법.
- 제 4 항에 있어서, 상기 변이 벡터 결정 단계는,상기 변이 벡터의 방향이 양인 경우의 개수 및 음인 경우의 개수를 각각 세는 단계; 및상기 변이 벡터의 방향이 양인 경우의 개수 및 음인 경우의 개수 중 개수가 더 많은 쪽으로 상기 변이 벡터의 방향을 결정하는 단계를 포함하는 것을 특징으로 하는 스테레오스코픽 영상의 스테레오 시점 결정 방법.
- 제 4 항에 있어서, 상기 시점 결정 단계는,상기 스테레오스코픽 영상이 평행식 카메라에 의해 획득된 영상인 경우,상기 변이 벡터의 방향이 양(+)인 경우 상기 제 1 영상을 상기 기준 시점 영상으로 결정하고, 상기 제 2 영상을 상기 부가 시점 영상으로 결정하고,상기 변이 벡터의 방향이 음(-)인 경우 상기 제 1 영상을 상기 부가 시점 영상으로 결정하고, 상기 제 2 영상을 상기 기준 시점 영상으로 결정하는 단계를 포함하는 것을 특징으로 하는 스테레오스코픽 영상의 스테레오 시점 결정 방법.
- 제 4 항에 있어서, 상기 시점 결정 단계는,상기 스테레오스코픽 영상이 교차식 카메라에 의해 획득된 영상인 경우, 교차식 카메라의 교차점을 기준으로,상기 교차점 앞 영역의 변이 벡터의 방향이 양(+)이고 상기 교차점 뒤 영역의 변이 벡터의 방향이 음(-)인 경우, 상기 제 1 영상을 상기 기준 시점 영상으로 결정하고 상기 제 2 영상을 상기 부가 시점 영상으로 결정하고,상기 교차점 앞 영역의 변이 벡터의 방향이 음(-)이고 상기 교차점 뒤 영역의 변이 벡터의 방향이 양(+)인 경우, 상기 제 1 영상을 상기 부가 시점 영상으로 결정하고 상기 제 2 영상을 상기 기준 시점 영상으로 결정하는 단계를 포함하는 것을 특징으로 하는 스테레오스코픽 영상의 스테레오 시점 결정 방법.
- 제 4 항에 있어서, 상기 시점 결정 단계는,상기 제 1 영상 및 상기 제 2 영상 사이에 수직 변이가 발생하는 경우, 상기 스테레오스코픽 영상이 교차식 카메라에 의해 획득된 것으로 결정하는 단계를 더 포함하는 것을 특징으로 하는 스테레오스코픽 영상의 스테레오 시점 결정 방법.
- 제 4 항에 있어서, 상기 시점 결정 단계는,상기 기준 시점 영상 또는 상기 부가 시점 영상 중 한 시점 영상에서는 보이지만 나머지 시점 영상에서는 소정 객체에 가려서 보이지 않는 차폐 영역(occlusion region)을 검출하는 단계;상기 차폐 영역이 보이는 영상을 상기 차폐 영역이 상기 소정 객체의 경계면을 기준으로 보이는 측면의 일 시점 카메라가 획득한 영상으로 결정하는 단계; 및상기 차폐 영역이 보이지 않는 영상을 상기 나머지 시점 영상으로 결정하는 단계를 더 포함하는 것을 특징으로 하는 스테레오스코픽 영상의 스테레오 시점 결정 방법.
- 제 1 항에 있어서, 상기 시점 결정 단계는,상기 스테레오스코픽 영상으로부터 상기 제 1 영상에 대한 제 1 카메라 파라미터를 추출하고, 상기 스테레오스코픽 영상으로부터 상기 제 2 영상에 대한 제 2 카메라 파라미터를 추출하는 단계;상기 제 1 카메라 파라미터로부터 상기 제 1 영상의 평행 이동 매트릭스인 제 1 평행 이동 매트릭스를 추출하고, 상기 제 2 카메라 파라미터로부터 상기 제 2 영상의 평행 이동 매트릭스인 제 2 평행 이동 매트릭스를 추출하는 단계;상기 제 1 평행 이동 매트릭스의 x 성분인 x1 성분 및 상기 제 2 평행 이동 매트릭스의 x 성분인 x2 성분을 비교하는 단계; 및상기 비교 결과에 따라, 상기 제 1 영상 및 상기 제 2 영상의 시점을 결정하는 단계를 포함하고,상기 평행 이동 매트릭스는 세계 좌표계(world coordinate)를 기준으로 상기 제 1 영상의 좌표계 및 상기 제 2 영상의 좌표계가 공간적으로 떨어져 있는 정도를 나타내는 것을 특징으로 하는 스테레오스코픽 영상의 스테레오 시점 결정 방법.
- 제 15 항에 있어서, 상기 시점 결정 단계는,상기 x1 성분이 상기 x2 성분보다 크다면 상기 제 1 영상을 부가 시점 영상으로 결정하고, 상기 제 2 영상을 기준 시점 영상으로 결정하고;상기 x2 성분이 상기 x1 성분보다 크다면 상기 제 1 영상을 기준 시점 영상으로 결정하고, 상기 제 2 영상을 부가 시점 영상으로 결정하는 단계를 포함하는 것을 특징으로 하는 스테레오스코픽 영상의 스테레오 시점 결정 방법.
- 제 3 항에 있어서, 상기 스테레오 시점 결정 방법은,상기 한 쌍의 제 1 영상 및 제 2 영상이 상기 한 쌍의 기준 시점 영상 및 부가 시점 영상 중 한 시점 영상으로 각각 결정된 시점 배열 순서에 있어서,현재 한 쌍의 제 1 영상 및 제 2 영상에 대한 현재 시점 배열 순서가, 현재 한 쌍의 제 1 영상 및 제 2 영상 이전의 소정 복수 쌍의 제 1 영상 및 제 2 영상에 대한 이전 시점 배열 순서들과 다르면,상기 현재 한 쌍 및 상기 소정 복수 쌍의 제 1 영상 및 제 2 영상에 대해, 상기 이전 시점 배열 순서에 기초하여 상기 스테레오스코픽 영상을 동기화하는 단계를 더 포함하는 것을 특징으로 하는 스테레오스코픽 영상의 스테레오 시점 결정 방법.
- 제 17 항에 있어서, 상기 동기화 단계는,현재 한 쌍의 제 1 영상 및 제 2 영상에 대한 현재 시점 배열 순서가 이전 한 쌍의 제 1 영상 및 제 2 영상에 대한 이전 시점 배열 순서와 다르고, 현재 한 쌍의 제 1 영상 및 제 2 영상 이후의 소정 복수 쌍의 제 1 영상 및 제 2 영상에 대 한 시점 배열 순서들이 상기 현재 시점 배열 순서와 동일하게 유지된다면,상기 현재 한 쌍 및 상기 소정 복수 쌍의 제 1 영상 및 제 2 영상에 대해, 상기 이전 시점 배열 순서에 기초하여 상기 스테레오스코픽 영상을 동기화하는 것을 특징으로 하는 스테레오스코픽 영상의 스테레오 시점 결정 방법.
- 제 18 항에 있어서, 상기 동기화 단계는,상기 소정 복수 쌍의 제 1 영상 및 제 2 영상 이후의 한 쌍의 제 1 영상 및 제 2 영상에 대한 시점 배열 순서도 상기 현재 시점 배열 순서와 동일하게 유지된다면, 상기 소정 복수 쌍 이후의 한 쌍의 제 1 영상 및 제 2 영상에 대해 상기 현재 시점 배열 순서에 기초하여 상기 스테레오스코픽 영상을 동기화하는 단계를 포함하는 것을 특징으로 하는 스테레오스코픽 영상의 스테레오 시점 결정 방법.
- 제 2 항에 있어서, 상기 동기화 단계는,상기 스테레오스코픽 영상이 2차원 영상의 재생 후 연이어 재생된다면, 상기 2차원 영상의 마지막 프레임과 상기 스테레오스코픽 영상의 첫 프레임 사이에 소정 개수의 빈 프레임을 삽입하는 단계; 및상기 빈 프레임 후 각각의 한 쌍의 제 1 영상 및 제 2 영상의 시점 배열 순서에 기초하여 상기 스테레오스코픽 영상을 동기화하는 단계를 포함하는 것을 특징으로 하는 스테레오스코픽 영상의 스테레오 시점 결정 방법.
- 스테레오스코픽 영상으로부터, 서로 대응되는 한 쌍의 기준 시점 영상 및 부가 시점 영상을 위한 한 쌍의 제 1 영상 및 제 2 영상을 선택하는 영상 선택부; 및상기 한 쌍의 제 1 영상 및 상기 제 2 영상 사이의 시차(parallax)를 이용하여, 상기 제 1 영상을 상기 기준 시점 영상 및 상기 부가 시점 영상 중 한 시점 영상으로 결정하고, 상기 제 2 영상을 상기 기준 시점 영상 및 상기 부가 시점 영상 중 나머지 시점 영상으로 결정하는 시점 결정부를 포함하는 것을 특징으로 하는 스테레오스코픽 시점 결정 장치.
- 제 21 항에 있어서,상기 한 쌍의 제 1 영상 및 상기 제 2 영상이 상기 기준 시점 영상 및 상기 부가 시점 영상 중 어느 하나로 각각 결정된 결과를 기초로 상기 스테레오스코픽 영상을 동기화하는 스테레오 동기화부를 포함하는 것을 특징으로 하는 스테레오스코픽 영상의 스테레오 시점 결정 장치.
- 제 21 항에 있어서, 상기 영상 선택부는,서로 대응되는 한 쌍의 기준 시점 영상의 정보 및 부가 시점 영상의 정보가 결합된 영상이 상기 스테레오스코픽 영상에 포함된 경우,상기 기준 시점 영상의 정보 및 부가 시점 영상의 정보가 결합된 영상으로부터 상기 한 쌍의 기준 시점 영상 및 상기 부가 시점 영상을 복원하고,상기 복원된 한 쌍의 기준 시점 영상 및 부가 시점 영상을 위한 한 쌍의 제 1 영상 및 제 2 영상을 선택하는 것을 특징으로 하는 스테레오스코픽 영상의 스테레오 시점 결정 장치.
- 제 21 항에 있어서, 상기 시점 결정부는,상기 한 쌍의 제 1 영상 및 상기 제 2 영상 사이의 시차로써, 상기 한 쌍의 제 1 영상 및 상기 제 2 영상에 대해 변이 추정 기법을 수행하여 변이 벡터를 결정하는 변이 벡터 결정부를 포함하고,상기 결정된 변이 벡터를 이용하여, 상기 제 1 영상의 시점 및 상기 제 2 영상의 시점을 각각 결정하는 것을 특징으로 하는 스테레오스코픽 영상의 스테레오 시점 결정 장치.
- 제 24 항에 있어서, 상기 변이 벡터 결정부는,각각의 픽셀마다 상기 제 1 영상의 픽셀 값 및 상기 제 2 영상의 픽셀 값의 차이가 기록된 차이 영상을 획득하는 차이 영상 획득부;상기 차이 영상의 블록 중 블록 내의 픽셀 값의 절대값의 합이 소정 임계치보다 큰 블록을 결정하는 블록 결정부; 및상기 결정된 블록에 대해서 변이 추정을 수행하는 변이 추정 수행부를 포함하는 것을 특징으로 하는 스테레오스코픽 영상의 스테레오 시점 결정 장치.
- 제 25 항에 있어서, 상기 블록 결정부는,상기 차이 영상의 좌측 가장자리 영역 및 우측 가장자리 영역의 블록을 제외한 블록들 중에서, 상기 차이 영상의 블록 중 블록 내의 픽셀 값의 절대값의 합이 소정 임계치보다 큰 블록을 결정하는 것을 특징으로 하는 스테레오스코픽 영상의 스테레오 시점 결정 장치.
- 제 25 항에 있어서, 상기 변이 추정 수행부는,현재 블록 위치, 상기 현재 블록 위치로부터 소정 거리만큼 좌측으로 평행 이동된 좌측 블록 위치, 상기 현재 블록 위치로부터 상기 소정 거리만큼 우측으로 평행 이동된 우측 블록 위치에 있어서,상기 제 1 영상의 상기 현재 블록 위치의 픽셀들과 상기 제 2 영상의 상기 좌측 블록 위치의 픽셀들 사이의 차이도인 제 1 차이도를 결정하는 제 1 차이도 결정부;상기 제 1 영상의 상기 현재 블록 위치의 픽셀들과 상기 제 2 영상의 상기 현재 블록 위치의 픽셀들 사이의 차이도인 제 2 차이도를 결정하는 제 2 차이도 결정부;상기 제 1 영상의 상기 현재 블록 위치의 픽셀들과 상기 제 2 영상의 상기 우측 블록 위치의 픽셀들 사이의 차이도인 제 3 차이도를 결정하는 제 3 차이도 결정부;상기 제 1 차이도, 제 2 차이도 및 제 3 차이도를 비교하는 차이도 비교부; 및상기 차이도들의 비교 결과에 따라, 상기 변이 벡터의 방향을 결정하는 변이 벡터 방향 결정부를 특징으로 하는 스테레오스코픽 영상의 스테레오 시점 결정 장치.
- 제 27 항에 있어서, 상기 변이 벡터 방향 결정부는,상기 차이도가 상기 제 3 차이도, 상기 제 2 차이도 및 상기 제 1 차이도 순으로 작아진다면, 상기 변이 벡터의 방향을 음의 방향으로 결정하고,상기 차이도가 상기 제 1 차이도, 상기 제 2 차이도 및 상기 제 3 차이도 순으로 작아진다면, 상기 변이 벡터의 방향을 양의 방향으로 결정하는 것을 특징으로 하는 스테레오스코픽 영상의 스테레오 시점 결정 장치.
- 제 25 항에 있어서, 상기 변이 추정 수행부는,현재 블록 위치의 소정 가로 방향의 픽셀들에 대한 현재 라인 위치, 상기 현재 라인 위치로부터 소정 거리만큼 좌측 및 우측 방향으로 평행 이동된 픽셀들을 포함하는 검색 범위에 있어서,상기 제 1 영상의 상기 현재 라인 위치의 픽셀들과, 상기 제 2 영상의 상기 검색 범위 내에서 상기 현재 라인 위치로부터 좌측 또는 우측 방향으로 평행 이동된 라인 위치의 픽셀들 사이의 차이도를 결정하는 차이도 결정부;상기 라인별로 결정된 차이도들을 비교하는 차이도 비교부; 및상기 비교 결과에 따라, 가장 작은 차이도를 갖는 라인의 방향으로 변이 벡 터 방향을 결정하는 변이 벡터 방향 결정부를 포함하는 것을 특징으로 하는 스테레오스코픽 영상의 스테레오 시점 결정 장치.
- 제 24 항에 있어서, 상기 변이 벡터 결정부는,상기 변이 벡터의 방향이 양인 경우의 개수 및 음인 경우의 개수를 각각 세고, 상기 변이 벡터의 방향이 양인 경우의 개수 및 음인 경우의 개수 중 개수가 더 많은 쪽으로 상기 변이 벡터의 방향을 결정하는 것을 특징으로 하는 스테레오스코픽 영상의 스테레오 시점 결정 장치.
- 제 24 항에 있어서, 상기 시점 결정부는,상기 스테레오스코픽 영상이 평행식 카메라에 의해 획득된 영상인 경우,상기 변이 벡터의 방향이 양(+)인 경우 상기 제 1 영상을 상기 기준 시점 영상으로 결정하고, 상기 제 2 영상을 상기 부가 시점 영상으로 결정하고,상기 변이 벡터의 방향이 음(-)인 경우 상기 제 1 영상을 상기 부가 시점 영상으로 결정하고, 상기 제 2 영상을 상기 기준 시점 영상으로 결정하는 것을 특징으로 하는 스테레오스코픽 영상의 스테레오 시점 결정 장치.
- 제 24 항에 있어서, 상기 시점 결정부는,상기 스테레오스코픽 영상이 교차식 카메라에 의해 획득된 영상인 경우, 교차식 카메라의 교차점을 기준으로,상기 교차점 앞 영역의 변이 벡터의 방향이 양(+)이고 상기 교차점 뒤 영역의 변이 벡터의 방향이 음(-)인 경우, 상기 제 1 영상을 상기 기준 시점 영상으로 결정하고 상기 제 2 영상을 상기 부가 시점 영상으로 결정하고,상기 교차점 앞 영역의 변이 벡터의 방향이 음(-)이고 상기 교차점 뒤 영역의 변이 벡터의 방향이 양(+)인 경우, 상기 제 1 영상을 상기 부가 시점 영상으로 결정하고 상기 제 2 영상을 상기 기준 시점 영상으로 결정하는 것을 특징으로 하는 스테레오스코픽 영상의 스테레오 시점 결정 장치.
- 제 24 항에 있어서, 상기 시점 결정부는,상기 제 1 영상 및 상기 제 2 영상 사이에 수직 변이가 발생하는 경우, 상기 스테레오스코픽 영상이 교차식 카메라에 의해 획득된 것으로 결정하는 카메라 방식 결정부를 더 포함하는 것을 특징으로 하는 스테레오스코픽 영상의 스테레오 시점 결정 장치.
- 제 24 항에 있어서, 상기 시점 결정부는,상기 기준 시점 영상 또는 상기 부가 시점 영상 중 한 시점 영상에서는 보이지만 나머지 시점 영상에서는 소정 객체에 가려서 보이지 않는 차폐 영역(occlusion region)을 검출하는 차폐 영역 검출부;상기 차폐 영역이 보이는 영상을 상기 차폐 영역이 상기 소정 객체의 경계면을 기준으로 보이는 측면의 일 시점 카메라가 획득한 영상으로 결정하고, 상기 차 폐 영역이 보이지 않는 영상을 상기 나머지 시점 영상으로 결정하는 차폐 영역 기반 시점 결정부를 더 포함하는 것을 특징으로 하는 스테레오스코픽 영상의 스테레오 시점 결정 장치.
- 제 21 항에 있어서, 상기 시점 결정부는,상기 스테레오스코픽 영상으로부터 상기 제 1 영상에 대한 제 1 카메라 파라미터를 추출하고, 상기 스테레오스코픽 영상으로부터 상기 제 2 영상에 대한 제 2 카메라 파라미터를 추출하는 카메라 파라미터 추출부;상기 제 1 카메라 파라미터로부터 상기 제 1 영상의 평행 이동 매트릭스인 제 1 평행 이동 매트릭스를 추출하고, 상기 제 2 카메라 파라미터로부터 상기 제 2 영상의 평행 이동 매트릭스인 제 2 평행 이동 매트릭스를 추출하는 평행 이동 매트릭스 추출부; 및상기 제 1 평행 이동 매트릭스의 x 성분인 x1 성분 및 상기 제 2 평행 이동 매트릭스의 x 성분인 x2 성분을 비교하는 x 성분 비교부를 포함하고,상기 비교 결과에 따라, 상기 제 1 영상 및 상기 제 2 영상의 시점을 결정하는 것을 특징으로 하며,상기 평행 이동 매트릭스는 세계 좌표계를 기준으로 상기 제 1 영상의 좌표계 및 상기 제 2 영상의 좌표계가 공간적으로 떨어져 있는 정도를 나타내는 것을 특징으로 하는 스테레오스코픽 영상의 스테레오 시점 결정 장치.
- 제 35 항에 있어서, 상기 시점 결정부는,상기 x1 성분이 상기 x2 성분보다 크다면, 상기 제 1 영상을 부가 시점 영상으로 결정하고 상기 제 2 영상을 기준 시점 영상으로 결정하고,상기 x2 성분이 상기 x1 성분보다 크다면, 상기 제 1 영상을 기준 시점 영상으로 결정하고 상기 제 2 영상을 부가 시점 영상으로 결정하는 것을 특징으로 하는 스테레오스코픽 영상의 스테레오 시점 결정 장치.
- 제 23 항에 있어서, 상기 스테레오 시점 결정 장치는,상기 한 쌍의 제 1 영상 및 제 2 영상이 상기 한 쌍의 기준 시점 영상 및 부가 시점 영상 중 한 시점 영상으로 각각 결정된 시점 배열 순서에 있어서,현재 한 쌍의 제 1 영상 및 제 2 영상에 대한 현재 시점 배열 순서가, 현재 한 쌍의 제 1 영상 및 제 2 영상 이전의 소정 복수 쌍의 제 1 영상 및 제 2 영상에 대한 이전 시점 배열 순서들과 다르면,상기 현재 한 쌍 및 상기 소정 복수 쌍의 제 1 영상 및 제 2 영상에 대해, 상기 이전 시점 배열 순서에 기초하여 상기 스테레오스코픽 영상을 동기화하는 스테레오 동기화부를 더 포함하는 것을 특징으로 하는 스테레오스코픽 영상의 스테레오 시점 결정 방법.
- 제 37 항에 있어서, 상기 스테레오 동기화부는,현재 한 쌍의 제 1 영상 및 제 2 영상에 대한 현재 시점 배열 순서가 이전 한 쌍의 제 1 영상 및 제 2 영상에 대한 이전 시점 배열 순서와 다르고, 현재 한 쌍의 제 1 영상 및 제 2 영상 이후의 소정 복수 쌍의 제 1 영상 및 제 2 영상에 대한 시점 배열 순서들이 상기 현재 시점 배열 순서와 동일하게 유지된다면,상기 현재 한 쌍 및 상기 소정 복수 쌍의 제 1 영상 및 제 2 영상에 대해, 상기 이전 시점 배열 순서에 기초하여 상기 스테레오스코픽 영상을 동기화하는 것을 특징으로 하는 스테레오스코픽 영상의 스테레오 시점 결정 장치.
- 제 38 항에 있어서, 상기 스테레오 동기화부는,상기 소정 복수 쌍의 제 1 영상 및 제 2 영상 이후의 한 쌍의 제 1 영상 및 제 2 영상에 대한 시점 배열 순서도 상기 현재 시점 배열 순서와 동일하게 유지된다면, 상기 소정 복수 쌍 이후의 한 쌍의 제 1 영상 및 제 2 영상에 대해 상기 현재 시점 배열 순서에 기초하여 상기 스테레오스코픽 영상을 동기화하는 것을 특징으로 하는 스테레오스코픽 영상의 스테레오 시점 결정 장치.
- 제 22 항에 있어서, 상기 스테레오 동기화부는,상기 스테레오스코픽 영상이 2차원 영상의 재생 후 연이어 재생된다면, 상기 2차원 영상의 마지막 프레임과 상기 스테레오스코픽 영상의 첫 프레임 사이에 소정 개수의 빈 프레임을 삽입하는 빈 프레임 재생부를 포함하고,상기 빈 프레임 후 각각의 한 쌍의 제 1 영상 및 제 2 영상의 시점 배열 순서에 기초하여 상기 스테레오스코픽 영상을 동기화하는 것을 특징으로 하는 스테레오스코픽 영상의 스테레오 시점 결정 장치.
- 제 1 항 내지 제 20 항 중 어느 한 항의 스테레오스코픽 영상의 스테레오 시점 결정 방법을 구현하기 위한 프로그램이 수록된 컴퓨터로 판독 가능한 기록 매체.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020080015446A KR101520619B1 (ko) | 2008-02-20 | 2008-02-20 | 스테레오 동기화를 위한 스테레오스코픽 영상의 시점 결정방법 및 장치 |
| US12/263,507 US8441521B2 (en) | 2008-02-20 | 2008-11-03 | Method and apparatus for determining view of stereoscopic image for stereo synchronization |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020080015446A KR101520619B1 (ko) | 2008-02-20 | 2008-02-20 | 스테레오 동기화를 위한 스테레오스코픽 영상의 시점 결정방법 및 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20090090148A true KR20090090148A (ko) | 2009-08-25 |
| KR101520619B1 KR101520619B1 (ko) | 2015-05-18 |
Family
ID=40954743
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020080015446A KR101520619B1 (ko) | 2008-02-20 | 2008-02-20 | 스테레오 동기화를 위한 스테레오스코픽 영상의 시점 결정방법 및 장치 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US8441521B2 (ko) |
| KR (1) | KR101520619B1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101340086B1 (ko) * | 2012-11-01 | 2013-12-09 | 서강대학교산학협력단 | 관심 영역의 자동 초점을 위해 동영상에서의 적응적 탐색 범위 예측을 이용한 디스패리티 추정 방법 및 장치 |
| KR20200057663A (ko) * | 2018-11-16 | 2020-05-26 | 한국전자통신연구원 | 멀티 베이스라인 스테레오 카메라 장치 기반의 영상들에 대한 시차 확인 방법 및 장치 |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5355208B2 (ja) * | 2009-05-01 | 2013-11-27 | 富士フイルム株式会社 | ３次元表示装置及びデジタルズーム補正方法 |
| WO2011081642A1 (en) * | 2009-12-14 | 2011-07-07 | Thomson Licensing | Image pair processing |
| KR101377325B1 (ko) * | 2009-12-21 | 2014-03-25 | 한국전자통신연구원 | 스테레오 영상, 다시점 영상 및 깊이 영상 획득 카메라 장치 및 그 제어 방법 |
| KR101626742B1 (ko) * | 2009-12-31 | 2016-06-03 | 엘지디스플레이 주식회사 | 멀티 영상 표시 시스템 |
| GB2478776B (en) * | 2010-03-18 | 2015-08-19 | Snell Ltd | Analysis of stereoscopic images |
| JP5450643B2 (ja) * | 2010-05-25 | 2014-03-26 | パナソニック株式会社 | 画像符号化装置、画像符号化方法、プログラムおよび集積回路 |
| US20130249874A1 (en) * | 2010-12-08 | 2013-09-26 | Thomson Licensing | Method and system for 3d display with adaptive disparity |
| JP5501474B2 (ja) * | 2011-06-10 | 2014-05-21 | パナソニック株式会社 | 立体画像生成装置および立体画像生成方法 |
| US20140240472A1 (en) * | 2011-10-11 | 2014-08-28 | Panasonic Corporation | 3d subtitle process device and 3d subtitle process method |
| US9031316B2 (en) * | 2012-04-05 | 2015-05-12 | Mediatek Singapore Pte. Ltd. | Method for identifying view order of image frames of stereo image pair according to image characteristics and related machine readable medium thereof |
| JP6188387B2 (ja) * | 2012-04-17 | 2017-08-30 | パナソニック株式会社 | 視差算出装置及び視差算出方法 |
| EP3247114A4 (en) * | 2015-01-21 | 2018-01-17 | Samsung Electronics Co., Ltd. | Method and apparatus for decoding inter-layer video, and method and apparatus for encoding inter-layer video |
| CN107430782B (zh) * | 2015-04-23 | 2021-06-04 | 奥斯坦多科技公司 | 用于利用深度信息的全视差压缩光场合成的方法 |
| US20200261180A1 (en) * | 2017-09-06 | 2020-08-20 | Covidien Lp | 27-3systems, methods, and computer-readable media for providing stereoscopic visual perception notifications and/or recommendations during a robotic surgical procedure |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6384859B1 (en) * | 1995-03-29 | 2002-05-07 | Sanyo Electric Co., Ltd. | Methods for creating an image for a three-dimensional display, for calculating depth information and for image processing using the depth information |
| JP3679512B2 (ja) * | 1996-07-05 | 2005-08-03 | キヤノン株式会社 | 画像抽出装置および方法 |
| JP3930935B2 (ja) * | 1997-02-28 | 2007-06-13 | 三菱電機株式会社 | 画像処理装置 |
| JP4056154B2 (ja) * | 1997-12-30 | 2008-03-05 | 三星電子株式会社 | ２次元連続映像の３次元映像変換装置及び方法並びに３次元映像の後処理方法 |
| US7054491B2 (en) * | 2001-11-16 | 2006-05-30 | Stmicroelectronics, Inc. | Scalable architecture for corresponding multiple video streams at frame rate |
| JP2005026800A (ja) * | 2003-06-30 | 2005-01-27 | Konica Minolta Photo Imaging Inc | 画像処理方法、撮像装置、画像処理装置及び画像記録装置 |
| US7907150B2 (en) * | 2003-08-09 | 2011-03-15 | Doubleshot, Inc. | Method of fusion or merging imagery data for improved visual perception using monoscopic and stereographic fusion and retinal decay techniques |
| JP4177826B2 (ja) * | 2005-03-23 | 2008-11-05 | 株式会社東芝 | 画像処理装置および画像処理方法 |
| US7679641B2 (en) * | 2006-04-07 | 2010-03-16 | Real D | Vertical surround parallax correction |
| KR100795481B1 (ko) * | 2006-06-26 | 2008-01-16 | 광주과학기술원 | 다시점화상의 처리 방법 및 장치 |
| US7925049B2 (en) * | 2006-08-15 | 2011-04-12 | Sri International | Stereo-based visual odometry method and system |
| US8179448B2 (en) * | 2008-08-26 | 2012-05-15 | National Taiwan University | Auto depth field capturing system and method thereof |
-
2008
- 2008-02-20 KR KR1020080015446A patent/KR101520619B1/ko not_active IP Right Cessation
- 2008-11-03 US US12/263,507 patent/US8441521B2/en not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101340086B1 (ko) * | 2012-11-01 | 2013-12-09 | 서강대학교산학협력단 | 관심 영역의 자동 초점을 위해 동영상에서의 적응적 탐색 범위 예측을 이용한 디스패리티 추정 방법 및 장치 |
| KR20200057663A (ko) * | 2018-11-16 | 2020-05-26 | 한국전자통신연구원 | 멀티 베이스라인 스테레오 카메라 장치 기반의 영상들에 대한 시차 확인 방법 및 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| US8441521B2 (en) | 2013-05-14 |
| KR101520619B1 (ko) | 2015-05-18 |
| US20090207238A1 (en) | 2009-08-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101520619B1 (ko) | 스테레오 동기화를 위한 스테레오스코픽 영상의 시점 결정방법 및 장치 | |
| KR101385514B1 (ko) | 깊이 맵 정보를 이용한 입체 영상 변환 방법 및 장치 | |
| RU2519433C2 (ru) | Способ и система для обработки входного трехмерного видеосигнала | |
| Feng et al. | Object-based 2D-to-3D video conversion for effective stereoscopic content generation in 3D-TV applications | |
| KR101038452B1 (ko) | 멀티뷰 이미지 생성 | |
| JP4762994B2 (ja) | 視差マップ | |
| KR100793076B1 (ko) | 에지 적응형 스테레오/다시점 영상 정합 장치 및 그 방법 | |
| EP3764324A1 (en) | Compression of distance field | |
| KR100888081B1 (ko) | 2차원 영상 신호의 3차원 영상 신호로의 변환 절차 및 변환장치 | |
| KR20100002049A (ko) | 영상 처리 방법 및 장치 | |
| KR20110090958A (ko) | 이미지 속성들에 대한 오클루젼 데이터의 생성 | |
| JPH08331607A (ja) | 三次元表示画像生成方法 | |
| US9661307B1 (en) | Depth map generation using motion cues for conversion of monoscopic visual content to stereoscopic 3D | |
| JP7184748B2 (ja) | 場面の積層深度データを生成するための方法 | |
| JP2011198366A (ja) | 立体画像の分析方法及び分析装置 | |
| JP4892113B2 (ja) | 画像処理方法及び装置 | |
| TWI786107B (zh) | 用於處理深度圖之設備及方法 | |
| KR20110093616A (ko) | 오버레이 영역의 3ｄ 영상 변환 방법 및 그 장치 | |
| WO2008152607A1 (en) | Method, apparatus, system and computer program product for depth-related information propagation | |
| Lin et al. | A 2D to 3D conversion scheme based on depth cues analysis for MPEG videos | |
| Lee et al. | Segment-based multi-view depth map estimation using belief propagation from dense multi-view video | |
| Kuo et al. | Stereoview to multiview conversion architecture for auto-stereoscopic 3D displays | |
| KR100607072B1 (ko) | 2차원 영상신호를 3차원 영상신호로 변환하는 장치 및 방법 | |
| KR100757259B1 (ko) | 압축 동영상의 움직임 벡터를 이용하여 2차원 영상을3차원 영상으로 변환하는 방법 | |
| KR20090034694A (ko) | 3차원 영상을 위한 다시점 카메라 파라미터 수신 방법 및그 장치, 그리고 다시점 카메라 파라미터 전송 방법 및 그장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| J201 | Request for trial against refusal decision | ||
| E90F | Notification of reason for final refusal | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20180427 Year of fee payment: 4 |
|
| LAPS | Lapse due to unpaid annual fee |