KR20120069546A - 스테레오 화상 처리 방법, 스테레오 화상 처리 장치 및 표시 장치 - Google Patents

스테레오 화상 처리 방법, 스테레오 화상 처리 장치 및 표시 장치 Download PDF

Info

Publication number
KR20120069546A
KR20120069546A KR1020110113460A KR20110113460A KR20120069546A KR 20120069546 A KR20120069546 A KR 20120069546A KR 1020110113460 A KR1020110113460 A KR 1020110113460A KR 20110113460 A KR20110113460 A KR 20110113460A KR 20120069546 A KR20120069546 A KR 20120069546A
Authority
KR
South Korea
Prior art keywords
image
stereo
points
approximation
correction value
Prior art date
Application number
KR1020110113460A
Other languages
English (en)
Inventor
켄지 스즈키
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US13/314,631 priority Critical patent/US9380285B2/en
Priority to CN201110438997.5A priority patent/CN102547343B/zh
Publication of KR20120069546A publication Critical patent/KR20120069546A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Processing (AREA)

Abstract

본 발명의 스테레오 화상 처리 장치는, 스테레오 페어 화상이 입력되는 화상 입력부와, 상기 스테레오 페어 화상의 제1 화상에 있어서 복수의 대표점들을 설정하는 대표점 설정부와, 상기 스테레오 페어 화상의 제2 화상에 있어서 상기 복수의 대표점들에 대응하는 복수의 대응점들을 검출하는 동시에, 편차값으로 판정된 대응점을 제외하는 대응점 제어부와, 상기 대응점이 상기 편차값　인지　여부를 판정하는 편차값 산출부와, 상기 제외된 대응점을 제외한 나머지 대응점들에 의해 곡선 근사를 행하는 근사 곡선 산출부와, 상기 곡선 근사에 의해 작성된 복수의 근사 곡선으로부터 높이 보정값을 산출하는 높이 보정값 산출부와, 상기 높이 보정값에 기초하여 상기 제2 화상의 평행화를 행하는 평행화 실행부와, 상기 제1 화상 및 평행화를 행한 상기 제2 화상을 출력하는 화상 출력부를 포함한다.

Description

스테레오 화상 처리 방법, 스테레오 화상 처리 장치 및 표시 장치{STEREO IMAGE PROECSIING METHOD, STEREO IMAGE PROCESSING APPARATUS AND DISPLAY DEVICE}
본 발명은 스테레오 화상 처리 방법, 스테레오 화상 처리 장치 및 표시 장치에 관한 것이다.
최근, 3D TV 등, 스테레오 화상을 사용한 기기가 널리 개발되고 있다. 2안의 스테레오 화상, 즉 스테레오 페어(pair) 화상으로부터 3D 표시를 행할 때에는, 스테레오 페어 화상으로부터 깊이 정보(depth)를 추출하고, 추출된 깊이 정보를 사용하는 방법이 행하여지고 있다.
깊이 정보의 추출을 위해서는, 스테레오 페어 화상에 대해 도 1(a)에 나타내는 바와 같이 한쪽의 화상(L)과 제2 화상(R)과의 사이에서 대응점 (스테레오 매칭)을 검색한다. 스테레오 매칭에 의해 제1 화상(L)에 대해서, 그 깊이를 표현하기 위해 깊이 정보를 추출한다. 도 1(b)에 나타내는 바와 같이, 제1 화상(L)과 깊이 정보(D)로서 정보를 보존하고, 그 정보를 사용하여 3D 표시를 행한다.
스테레오 매칭을 행하는 경우에는, 좌우 화상 오브젝트의 높이(수직 방향의 위치)가 맞춰져 있는 경우에, 효과적으로 대응점을 검색할 수 있다. 그러나, 스테레오 카메라로 촬영한 경우, 좌우 카메라의 수평이 완전하게 일치하지 않는 케이스가 많다. 예를 들어, 도 2에 나타내는 바와 같이 좌 카메라에 비해, 우 카메라가 경사져 있고, 좌 카메라의 수평과 우 카메라의 수평이 일치하지 않는 경우에는, 좌우 화상 오브젝트의 높이가 맞추어져 있지 않기 때문에, 정확하게 대응점을 검색할 수 없다.
또한, 스테레오 카메라에 의한 촬영은, 평행법이나 교차법에 의해 촬영되지만, 교차법으로 촬영한 경우에는, 촬영법 자체의 특성에 의해, 도 3에서 나타내는 바와 같이, 촬상된 화상에 있어서, 사다리꼴 왜곡이 발생한다((키스톤 : keystone) 효과). 이 경우에도 오브젝트의 높이가 맞춰지지 않는다.
입력된 스테레오 페어 화상에 대해서, 촬상된 좌우의 카메라에 있어서 높이의 편차가 있는 경우, 그대로 스테레오 매칭을 행하여, 2차원 화상에 대해서 깊이 정보를 작성하면, 정확하게 대응점이 검색될 수 없다.
따라서, 스테레오 카메라에서 촬영된 화상에 대하여 대응점 검색을 행하는 경우, 어떤 전처리에 의해 좌우의 영상 내의 오브젝트의 높이를 맞출 필요가 있다.
종래, 좌우의 영상 내의 오브젝트의 높이를 맞추기 위해, 여러 가지 방법이 사용되어 왔다. 예를 들어, 대표적으로 사용되어 왔던 것은, 등극선 기하(Epipolar geometry)에 의한 평행화이다. 그 중에서도, 공지의 패턴을 사용하여, 촬영 전에 미리 캘리브레이션(calibration: 평행화)를 행하는 방법이 일반적이다. 그러나, 스테레오 화상에 대하여, 촬영자에 있어서, 공지의 패턴으로 평행화를 행하여 둘 필요가 있기 때문에, 예를 들어, 표시 장치에서 3D 표시할 경우, 이미 촬영된 스테레오 화상에 대하여는, 적용될 수 없다.
또한, 등극선 기하에 의한 평행화에 의한 다른 방법으로서, 셀프 캘리브레이션을 행하는 방법이 있다(일본국 공개특허 제2007-200364호 참조). 이 방법에 있어서는, 미리 공지 패턴을 사용하여 평행화를 행하는 것이 아니라, 빌딩이나 도로의 라인 등, 직선을 갖는 화상내의 특징적인 패턴을 사용하여 평행화를 행하는 방법이다. 그러나, 이 방법에서는, 화상내에 직선적인 에지를 필요로 한다는 문제가 있는 동시에, 패턴의 크기에 의해는, 촬영 행렬의 오차가 크게 되고, 정확하게 평행화할 수 없다는 문제도 있다.
또한, 다른 방법으로서, 화상의 주사선 방향이 등극선과 일치하고 있다는 것을 전제 조건으로 하여, 좌우 화상의 상관 관계에 기초하여, 제1 화상의 행에 대응하는 행을 제2 화상으로부터 검색하여, 높이를 맞추는 방법이 있다(일본 공개특허 제2010-128575호 참조).
그러나, 이 방법에 있어서는 검색 방향이 항상 주사선 방향, 즉 수평 방향으로 한정되는 것과 동시에, 주사선 방향이 등극선과 일치하고 있는 것을 전제 조건으로 하기 때문에, 적용되는 화상이 한정된다는 문제가 있다.
본 발명은 여러 타입의 스테레오 화상에 대하여, 촬영 후에 화상의 평행화가 가능한 스테레오 화상 처리 방법을 제공하는 것을 목적으로 한다.
본 발명의 일 실시예에 따른 스테레오 화상 처리 장치는, 스테레오 페어 화상이 입력되는 화상 입력부와, 상기 스테레오 패어 화상의 제1 화상에 있어서, 복수의 대표점들을 설정하는 대표점 설정부와, 상기 스테레오 페어 화상의 제2 화상에 있어서, 상기 복수의 대표점에 대응하는 복수의 대응점들을 검출하는 동시에, 편차값으로 판정된 대응점을 제외하는 대응점제어부와, 상기 대응점이 상기 편차값　인지　여부를 판정하는 편차값 산출부와, 상기 제외된 대응점을 제외한 나머지 대응점에 의해 곡선 근사를 행하는 근사 곡선 산출부와, 상기 곡선 근사에 의해 작성된 복수의 근사 곡선들로부터 높이 보정값을 산출하는 높이 보정값 산출부와, 상기 높이 보정값에 기초하여 상기 제2 화상의 평행화를 행하는 평행화 실행부와, 상기 제1 화상 및 평행화를 행한 상기 제2 화상을 출력하는 화상 출력부를 갖는 것을 특징으로 한다.
또한, 본 발명의 일 실시예에 따른 스테레오 화상 처리 방법은, 스테레오 페어 화상이 입력되고, 상기 스테레오 페어 화상의 제1 화상에 있어서 복수의 대표점을 설정하고, 상기 스테레오 페어 화상의 제2 화상에 있어서 상기 복수의 대표점에 대응하는 복수의 대응점들을 검출하고, 상기 대응점이 편차값인 지를 판정하고, 상기 편차값으로 판정된 대응점을 제외하고, 상기 제외된 대응점을 제외하고 편차값 판정 후의 대응점에 의해 곡선 근사를 행하며, 상기 곡선 근사에 의해 작성된 복수의 근사 곡선들로부터 높이 보정값을 산출하고, 상기 높이 보정값에 기초하여 상기 제2 화상을 평행화하고, 상기 제1 화상 및 평행화를 행한 상기 제2 화상을 출력하는 것을 한다.
또한, 본 발명의 일 실시예에 따른 표시 장치는, 표시 패널과, 제1 화상 및 제2 화상으로 이루어지는 스테레오 페어 화상을 포함하는 영상 신호가 입력되는 영상 신호 입력부와, 상기 스테레오 페어 화상의 제2 화상의 높이 보정을 행하고 보정 스테레오 페어 화상을 생성하는 스테레오 화상 처리 장치와, 상기 보정 스테레오 페어 화상의 스테레오 매칭을 행하고, 상기 제1 화상의 깊이 정보를 생성하는 스테레오 매칭부와, 상기 제1 화상 및 상기 깊이 정보를 사용하여, 시차 영상을 작성하는 시차 영상 합성부와, 상기 시차 영상을 상기 표시 패널 상의 화소에 배분하기 위해 클럭 신호를 생성하는 타이밍 제어부를 갖고, 상기 스테레오 화상 처리 장치는, 상기 영상 신호 입력부로 부터 스테레오 페어 화상이 입력되는 화상 입력부와, 상기 스테레오 페어 화상의 상기 제1 화상에 있어서 복수의 대표점들을 설정하는 대표점 설정부와, 상기 스테레오 페어 화상의 상기 제2 화상에 있어서 상기 복수의 대표점에 대응하는 복수의 대응점들을 검출하고, 편차값과 반대된 대응점을 제외하는 대응점 제어부와, 상기 대응점이 상기 편차값　인지　여부를 판정하는 편차값 산출부와, 상기 제외된 대응점을 제외한 나머지 대응점들에 의해 곡선 근사를 행하는 근사 곡선 산출부와, 상기 곡선 근사 에 의해 작성된 복수의 근사 곡선들로부터 높이 보정값을 산출하는 높이 보정값 산출부와, 상기 높이 보정값에 기초하여 제2 화상의 평행화를 행하는 평행화 실행부와, 상기 제1 화상 및 평행화를 행한 상기 제2 화상으로 이루어지는 보정 스테레오 페어 화상을 상기 스테레오 매칭부로 출력하는 화상 출력부를 구비하는 것을 특징으로 한다.
본 발명에 의하면, 여러 종류의 화상에 대응 가능한 스테레오 화상의 평행화 처리를 촬영의 사후에 행할 수 있는 장치 및 방법이 제공된다.
즉, 본 발명에 의하면, 스테레오 화상의 처리에 있어서, 직선적인 에지 등의 특징적인 패턴이 없는 화상에 있어서도 평행화 처리를 행하고, 스테레오 매칭에서의 미스매칭을 저감할 수 있다.
또한, 본 발명에 의하면, 주사선과 등극선 선이 일치하지 않는 화상에 있어서도, 평행화 처리를 행하고, 스테레오 매칭에서의 미스매칭을 저감할 수 있다.
도 1은 스테레오 매칭에 의해 스테레오 페어 화상으로부터 깊이 정보를 추출하는 방법의 개요 도면이다.
도 2는 스테레오 페어 화상에 있어서 좌우 카메라의 수평이 일치하지 않는 예를 나타내는 도면이다.
도 3은 교차법을 사용한 경우의 사다리꼴 왜곡의 모양을 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따른 스테레오 화상 처리 장치의 중요 구성을 나타내는 블럭도이다.
도 5는 블록 매칭법을 설명하기 위한 도면이다.
도 6은 블록 매칭법을 대응점 검색에 적용한 예를 나타내는 도면이다.
도 7은 편차값의 판정의 일 예를 나타내는 도면이다.
도 8은 대응점에 대하여 곡선 근사를 행한 예를 나타내는 도면이다.
도 9는 본 발명의 일 실시예에 따른 스테레오 화상 처리 장치에 있어서 높이 방향의 보정값을 나타내는 오프셋 맵을 근사 곡선으로부터 작성하는 예를 나타낸 도면이다.
도 10은 본 발명의 일 실시예에 따른 스테레오 화상 처리 방법의 플로우차트이다
도 11은 본 발명의 일 실시예에 따른 스테레오 화상 처리 방법에 있어서 처리 수순을 나타내는 개념도이다.
도 12는 본 발명의 일 실시예에 따른 표시 장치의 주요 구성을 나타내는 도면이다.
이하, 본 발명의 실시예에 따른 스테레오 화상 처리 장치를 첨부된 도면들을 참조하면서 상세하게 설명하고자 한다.
도 4는 본 발명의 실시예에 따른 스테레오 화상 처리 장치(100)의 구성을 나타내는 블럭도이다.
도 4를 참조하면, 스테레오 화상 처리 장치(100)는, 화상 입력부(110), 대표점 설정부(120), 대응점 제어부(130), 산출부(140), 높이 보정 실행부(150), 화상 출력부(160)를 포함한다. 구성들 각각은FPGA나 ASIC과 같은 로직 회로에 의해 실장된다. 혹은, CPU나 GPU와 같은 프로세서, ROM, RAM 등, 또는 이들이 조합된 시스템 ＬＳＩ에 의해 실장된다.
화상 입력부(110)에는, 스테레오 페어 화상 데이터가 입력된다. 스테레오 페어 화상은 2개의 화상으로 구성되고, 2개의 촬상 장치에서 각각 촬상된 제1 화상 및 제2 화상으로 이루어진다. 예를 들어, 스테레오 카메라에 의해 촬영한 좌 화상과 우 화상 중, 좌　화상을 제1 화상이라　하고, 우화상을 제2 화상이라 한다. 제1 화상은 2차원 화상으로서, 제2 화상은 제1 화상과의 스테레오 매칭에 의한 깊이 정보 추출을 위해 사용될 수 있다.
　대표점 설정부(120)는 제1 화상에서 대표점을 설정한다. 대표점은, 예를 들어, 화상 상에 격자선을 설정하고, 그의 격자선의 교차점이 다격자점에 위치하는 화소일 수 있다. 대표점은, 원하는 수를 설정가능하고, 화상 처리를 행하는 기기의 성능과, 구하는 정확성에 따라 대표점의 수를 설정하는 것이 좋다. 예를 들어, 세로 20열, 가로 20 개인 400개의 등간격으로 배치된 화소가, 대표점으로서 설정될 수 있다.
대응점 제어부(130)는 제2 화상에 있어서, 제1 화상에 있어서의 대표점에 대응하는 대응점을 검출한다. 대응점의 검출에는, 블록 매칭법이 사용될 수 있다.
　도 5는 블록 매칭법을 설명하기 위한 도면이다.
　블록 매칭법은 도 5에 나타내는 바와 같이, L 화상의 주목 화소(α)의 주변의 화소의 화소값을 사용하여, R 화상에 있어서 대응하는 화소, 즉 주목 화소와 상관 관계가 높은 화소를 소정의 검색 범위 내에서 검색하는 방법이다. 블록 매칭법에 있어서는, 주목 화소와, 검색 범위내의 비교 대상 화소의 각각에 있어서, 주변의 화소값을 산출하고, 산출된 주변의 화소값으로부터, 주목 화소와 각 비교 대상 화소와의 상관 관계를 구한다. 상관 관계의 판정에는, SAD(Sum of Absolute Difference)나, SSD(Sum of Squared intensity Difference) 등을 사용한다. 그리고, 주목 화소와 가장 상관 관계가 높은 화소를 주목 화소에 대한 대응 화소(α')로 한다.
본 발명의 일 실시예에 따른 스테레오 화상 처리 방법에 있어서는, 제1 화상에 있어서, 대표점에 있어서 화소를 주목 화소로 하고, 비교 대상 화소 중, 가장 상관 관계가 높은 화소가 대응점으로 된다.
예를 들어, 도 6에 있어서는, 제1 화상인 좌 화상(L)의 대표점(α)에 대응하는 제2 화상인 우 화상(R) 중의 대응점(α')를, 사각으로 둘러싼 검색 범위 내에 있어서 검색한다. 그리고, 검색의 결과, 상관 관계의 가장 높은 점이, 대응점(α')로서 검출된다.
검색 범위는 제1 화상에 있어서 대표점의 좌표에 대응된 제2 화상에 있어서 좌표의 주위이다. 제1 화상과 제2 화상에 있어서 좌우가 반전되어 있는 경우에 있어서도, 검색 범위를 좌우 반전된 좌표에 있어서 설정함으로써, 대응점의 검색이 가능하다. 또한, 검색 범위는, 시차에 따라서, 적절한 원하는 크기의 범위로 설정 가능하다.
이와 같이 하여, 각 대표점에 대해서, 대응하는 대응점의 검출이 행해진다.
또한, 대응점 제어부(130)는, 후술하는 편차값 산출부(141)에 의해 편차값으로서 산출된 대응점에 대해서, 제외한다.
산출부(140)는 편차값 산출부(141), 근사 곡선 산출부(142), 높이 보정값 산출부(143)로 구성된다.
편차값 산출부(141)는 대응점 제어부(130)에 의해 검출된 대응점에 대해서, 화상의 특징이 적은 부분의 대표점에 대응하는 대응점이나, 주위의 대응점과 다른 경향을 나타내는 대응점을 편차값으로 판정한다.
편차값의 판정은 2단계로 수행될 수 있다. 예를 들어, 제1 단계로서, 화상의 특징이 적은 부분의 대표점에 대응하는 대응점을 편차값으로 한다. 화상의 특징이 적은 부분의 대표점에 대응하는 대응점에 대해서는, 틀린 대응점이 선택될 가능성이 높기 때문에, 관련하는 부분에 대응하는 대응점은 편차값으로서 제외하고, 후 처리에 있어서는 사용하지 않는다.
구체적으로는, SAD를 사용하여 대표점에 대응하는 대응점을 검출하는 과정에 있어서, 대표점으로 판정된 점, 즉 SAD 값이 가장 작은 점의 SAD값을 SAD1st라 하고, SAD 값이 대표점의 그 다음 작은 점의 SAD 값을 SAD2nd라 한 경우에, SAD2nd과 SAD1st과의 값의 차가 소정의 문턱값(Th1) 보다도 작은 경우에 대응점을 편차값으로 판단한다.
　즉, SAD2nd - SAD1st < Th1의 경우에는, 화상의 특징이 적은 부분으로서, 편차값으로 판정하고, SAD2nd -SAD1st >= Th1의 경우에는, 화상에 충분히 특징이 있는 부분으로 하여, 그대로 대응점으로서 남긴다.
　또한, 제2 단계로서, 검출된 대응점이, 주위의 대응점에 나타난 경향과 다른 경향을 갖는 경우에는, 이　대응점을 편차값으로 판정한다. 즉, 편차값의 판정 대상으로 된 대응점과, 그의 대응점의 주위의 대응점을 비교하고, 판정 대상의 대응점이, 주위의 대응점과 같은 경향, 즉 같은　방향으로 이동하고 있는 가를 판정함으로써, 편차값인지 여부를 판정한다.
도 7은 검출된 대응점이 주위의 대응점에 나타난 경향과 다른 경향을 갖는가에 의해 편차값을 판정하는 경우의 구체적인 예를 보여주는 도면이다. 도 7에 있어서, 판정 대상의 대응점과, 그 대응점에 대응하는　대표점의 주위 8개 포인트의 대표점에 대응하는 대응점을 비교한다. 주위 8개소의 대표점에 대응하는 대응점에 있어서, 각각 대응하는 격자점인 대표점으로부터 어느 정도 편차가 있는 가를 벡터로 표시하고, 그의 8개의 벡터에 대해서, 평균 벡터(ua, va)를 산출하고, 그의 평균값과 판정 대상의 대응점의 대표점으로부터의 편차의 벡터(u, v)를 비교하고, 그 비교한 값이 소정의 문턱값(Th2)를 넘는 경우에, 편차값으로 판단한다.
즉, (u-ua)2 + (v-va)2 > Th2의 경우에는, 판정 대상의 대응점이, 주위의 대응점과 다른 경향을 나타내고 있는 것으로서, 편차값으로　판정하고, (u-ua)2 + (v-va)2 <= Th2의 경우에는, 주위의 대응점과 같은 경향을 나타내고 있는 것으로서, 그대로 대응점으로서 남긴다.
또한, 이들 1단계, 2단계로서 설명된 편차값 판정의 어느 하나 만을 행하여도 좋지만, 이후의 처리에 있어서보다 정밀도가 높은 근사 곡선을 산출하기 위해서는, 2단계로 편차값의 판정을 행하는 것이 바람직하다. 또한, 여기에 나타낸 편차값의 판정 이외의 방법에 의해, 편차값을 판정하여도 좋다.
근사 곡선 산출부(142)는, 편차값으로 판정되어서 제외된 대응점을 제외한 나머지 대응점 위치에 대해서, 곡선 근사를 행하고, 근사 곡선을 산출한다. 곡선 근사의 방법으로서는, 예를 들어 최소 제곱법이 사용되어도 좋다. 또한, 여기서 곡선 근사라는 기재는, 1차 다항식으로 적용하고, 즉 직선 근사를 포함하고, 근사 곡선이라는 기재는, 근사 직선을 포함한다.
도 8은 곡선 근사를 행한 예를 나타내는 도면이고, Ｘ가 산출된 근사 곡선이다. 　여기서는, 곡선 근사를 행하는 때에, 편차값으로 판정된 대응점은 제외하여 계산이 행하여진다. 또한, 도 8에 있어서는 직선 근사를 행하고 있다. 곡선 근사는, 표시 장치에 있어서의 경우에는, 가로 방향에서 곡선 근사를 행함으로써, 계산 정밀도가 향상되기 때문에, 길이 방향의 곡선 근사를 행하는 것이 바람직하다.
이렇게 하여 산출된 복수의 근사 곡선은, 제2 화상에 있어서 평행화에 의해 평행하게 된다. 가로 방향의 곡선 근사를 행한 경우에는, 평행화에 의해 수평으로 되고 주사 방향에 맞춰질 수 있다.
높이 보정값 산출부(143)는, 근사 곡선 산출부에 의해 산출된 근사 곡선에 기초하여, 높이 방향의 보정값을 나타내는 오프셋 맵을 작성한다.
　도 9는, 본 발명의 일 실시예에 따른 스테레오 화상 처리 장치에 있어서 높이 방향의 보정값을 나타내는 오프셋 맵을 근사 곡선으로부터 작성하는 예를 나타낸 도면이다.
먼저, 도 9(a)에 나타내는 바와 같이, 근사 곡선 산출부(142)에 의해 산출된 근사 곡선과, 근사 곡선 형성에 사용된 대응점에 대응하는 대표점을 연결하여 형성된 직선과의 사이에서의 높이의 차를 검출한다.
　다음, 도 9(b)에 나타내는 바와 같이, 검출된 높이의 차를, 높이 방향 보정값(H)을로서 보존하고, 오프셋 맵을 작성한다. 더불어, 복수의 근사 곡선 사이, 즉 공백 행에 있어서도 높이 보간(補間)을 행하기 때문에, 근사 곡선(Y'2과 Y'1) 사이에 있어서도 높이 방향 보정값의 오프셋 맵을 작성한다. 근사 곡선(Y'2과 Y'1) 사이에 있어서 높이 방향 보정값(H')의 할당은, Y'2의 높이 방향 보정값과 Y'1의 높이 방향 보정값과의 사이에서 서서히 값을 변화시킴으로써 행한다.
예를 들어, 도 9(b)에 나타내는 바와 같이, Y'1의 어떤 오프셋에 있어서 높이 방향 보정값이 -1이고, 그의 수직 방향에 위치하는 Y'2의 어떤 오프셋에 있어서 높이 방향 보정값이 -1.2인 경우, 그 사이의 높이 방향 보정값을, Y'1에 가까운 쪽으로부터 -1.05, -1.1, -1.15이 되도록 설정한다.
　이렇게 하여 산출된 높이 방향 보정값에 따라서, 평행화 실행부(150)에 있어서, 제2 화상 전체에 대해서, 높이 보정, 즉 평행화가 행하여 진다. 또한, 평행화가 행하여진 때에, 원 화상에 의해서는, 상단 및 하단의 화상이 빠진 경우가 있으나, 그 때에는 빠진 개소에 있어서는 원래의 화상을 사용하여도 좋다. 이것에 의해, 제1 화상과 제2 화상과의 높이의 편차를 해소할 수 있다.
보정된 스테레오 페어 화상은, 화상 출력부(160)에　의해, 스테레오 매칭을 행하는 장치에 대하여 출력된다. 보정된 스테레오 페어 화상을 사용하여 스테레오 매칭함으로써, 양호한 스테레오 매칭의 결과가 얻어지고, 고품질의 3차원 화상이 얻어질 수 있다.
　다음, 도 10 및 도 11을 참조하여, 본 발명의 일 실시예에 따른 스테레오 화상 처리 방법에 대해서 설명하고자 한다.
도 10은 본 발명의 일 실시예에 따른 스테레오 화상 처리 방법의 플로우차트이다.
　또한, 도 11은 본 발명의 일 실시예에 따른 스테레오 화상 처리 방법에 있어서 처리 순서를 나타내는 개념도이다.
　먼저, 스테레오 페어 화상 데이터가 입력된다(단계 S110). 도 11에 있어서, 좌측의 기준 화상을 L 화상, 우측의 대표 화상을 R 화상이라 칭한다. 도 10에 있어서 (I)의 스테레오 페어 화상이, 입력된 스테레오 페어 화상이다.
다음, L 화상에 대하여 대표점이 설정된다(단계 S120). 도 11에 있어서는, (a)로 나타낸다. 대표점은, 상술한 바와 같이, 화상상에 격자선을 설정하고, 그 격자선의 교차점이 다격자점에 위치하는 화소여도 좋다. 대표점은 원하는 수로 설정 될 수 있고, 도 11에 있어서는, (세로 4) * (가로 4)인 16개의 대표점이 설정되어 있다.
화상의 대표점에 대응하는 대응점이 R 화상에서 검출된다(단계 S130). 도 11에 있어서는 (b)로 나타낸다. 16개의 대표점이 설정되어 있기 때문에, 대응점도 16개 검출된다. 대응점의 검출에는 상술한 블록 매칭법이　사용될 수 있다.
　검출된 대응점의 각각에 대하여, 편차값 인지 여부를 판정한다(단계 S140). 판정은, 상술한 화상에 특징이 적은 부분의 대표점에 대응하는 대응점을 편차값으로 판정하는 방법 및/또는 검출된 대응점이, 주위의 대응점에 나타난 경향과 다른 경향을 갖는 점을 편차값으로 판정하는 방법 등을 사용한다. 도 11에 있어서는, 편차값이 판정된 상태는 (c)에서 나타나고, 삼각형으로 나타낸 점이, 편차값으로 판정된 대응점이다.
편차값으로 판정된 대응점에 대해서의 제외를 행한다(단계 S150). 각 대응점에 대해서, 편차값 판정 완료할 때까지, 단계 (S140)과 단계(S150)를 반복하여도 좋고, 각 대응점에 대해서 단계 (S140)에 있어서 편차값 판정의 처리를 행한 후, 합쳐서 단계(S150)에 있어서 편차값으로 판정된 대응점의 제외 처리를 행하여도 좋다. 도 11에 있어서는, (d)에서 편차값으로 판정된 대응점이 제외된 상태가 나타내고 있다.
편차값으로 판정된 대응점을 제외하고 남은 대응점에 대해서, 곡선 근사를 행한다(단계 S160). 도 11에 있어서는 (e)에서 나타낸다. 곡선 근사의 방법은, 상술한 바와 같이, 예를 들어 최소 제곱법이 사용될 수 있으나, 이에 한정되지는 않는다.
　또한, 여기서 곡선 근사라는 기재는, 1차 다항식으로 적용하고, 즉 직선 근사를 포함하고, 근사 곡선이라는 기재는, 근사 직선을 포함한다. 도 11(e)에 있어서는, 직선 근사가 행하여지고, 근사 곡선이 산출되어 있다.
곡선 근사에 의해 산출된 근사 곡선을 사용하여, 높이 방향 보정값을 나타내는 오프셋 맵을 작성한다(단계 S170). 상술한 바와 같이, 근사 곡선과, 근사 곡선 형성에 사용된 대응점에 대응하는 대표점들을 연결하여 형성된 직선과의 사이에서의 높이의 차를 검출하고, 근사 곡선들에 대해서는, 각 근사 곡선의 높이 보정값에 기초하여, 순차 높이 보정값을 할당한다.
대응 화상에 대해서, 오프셋 맵을 사용하여 평행화를 행하고, 높이 보정이 이루어진다(단계 S180). 도 10에 있어서는, 　(II)가 높이 보정이 이루어진 보정 후의 스테레오 페어 화상이다.
　보정 후의 스테레오 페어 화상을, 출력하고(단계 S190), 처리가 종료된다. 출력된 보정 후의 스테레오 페어 화상이, 후 처리에 있어서 스테레오 매칭에 있어서 사용될 수 있다. 높이 보정이 이루어져 있기 때문에, 스테레오 매칭에 있어서 깊이 정보를 추출하는 때에, 큰 노이즈가 생기지 않고, 왜곡이 없는 품질이 높은 3D 화상을 표시할 수 있다.
　본 발명의 일 실시예에 따른 화상 처리 장치는, 표시 장치에 사용되어도 좋다.
도 12는, 본 발명의 일 실시예에 따른 표시 장치의 주요 구성을 나타내는 도면이다.
본 발명의 일 실시예에 따른 표시 장치(1000)는, 평행화 변환부(100), 영상 신호 입력부(200), 스테레오 매칭부(300), 시차 영상 합성부(400), 타이밍 제어부(500), 표시 패널(600)을 포함한다. 표시 장치(1000)의 대표적인 예로서는, 3D TV나 3D 디스플레이가 예로서 들　수 있다.
　영상신호 입력부(200)에는, 외부로부터의 영상 신호가 입력된다. 영상　신호 입력부(200)는, 외부로부터 영상 신호가 입력되면, 당해 영상 신호를 영상 데이터로서 평행화 변환부로 입력한다.
평행화 변환부(100)는, 전술한 스테레오 화상 처리 장치(100)이고, 영상 데이터를 수신하며, 스테레오 페어 화상에 대해서 높이 보정을 행하고, 보정후의 스테레오 페어 화상을 스테레오 매칭부(300)으로 출력한다.
스테레오 매칭부(300)는, 보정 후의 스테레오 페어 화상에 대하여, 스테레오 매칭을 행한다. 　즉, 동일한 점을 촬상하고 있는 각 화상 중의 대응점을 구하고, 그의 시차를 사용하여 깊이(depth) 정보를 추출한다. 다시 말하면, 스테레오 매칭부(300)에 의해, 보정 후의 스테레오 페어 화상의 제1 화상과, 깊이 정보로 데이터가 변환된다. 제1 화상 및 깊이 정보는, 스테레오 매칭부(300)로부터 시차 영상 합성부(400)로 보내진다.
시차 영상 합성부(400)는 제1 화상 및 깊이 정보를 사용하여, 시차 영상을 작성한다. 즉, 시차 영상으로서 작성되는 것은, 표시 장치(1000)의 종류에 따라서 원하는 3차원 표시 방식에 따른 형식일 수 있으며, 예를 들어 시차 장벽을 이용한 시차 장벽(parallax barrier)　방식에 대응한 시차 영상이나, 렌티큘러 렌즈(lenticular lens) 방식에 대응한 시차 영상일 수 있다. 이러한 시차 영상을 작성하는 경우에는, 다시점(多視点)의 렌더링을 행한다.
　타이밍 제어부(500)는, 시차 영상 합성부(400)에 있어서 작성된 시차 영상을 표시 패널(600) 상의의 화소를 구동하는 신호를 생성한다.
　표시 패널(600)는, 예를 들어 LCD, PDP 등이고, 3D 화상(3D 영상)을 표시한다.
　표시 장치에 있어서는, 촬영 후에, 여러 촬영 장소에 있어서, 여러 촬상 장치에 의해 촬상된 스테레오 화상을 사용하기 때문에, 공지 패턴을 사용한 스테레오 화상의 평행화를 행할 수 없다. 여기서, 사후적으로, 스테레오 매칭의 전(前)단계에 있어서, 평행화 처리를 행할 필요가 있다. 본 발명의 일 실시예에 따른 표시 장치에 의하면, 종래의 촬영 후의 사후적인 평행화 처리에 있어서는 대응하기 곤란하고, 직선적인 에지 등의 특징적인 패턴이 없는 화상이나, 주사선과 등극선　선이 일치하지 않는 화상 등, 기타 여러 가지의 스테레오 페어 화상에 대하여 우수한 평행화 처리를 행할 수 있다.
100: 스테레오 화상 처리 장치 110: 화상 입력부
120: 대표점 설정부 130: 대응점 제어부
140: 산출부 150: 높이 보정 실행부
160: 화상 출력부

Claims (9)

  1. 스테레오 페어 화상이 입력되는 화상 입력부와;
    상기 스테레오 페어 화상의 제1 화상에 있어서 복수의 대표점들을 설정하는 대표점 설정부와;
    상기 스테레오 페어 화상의 제2 화상에 있어서 상기 복수의 대표점들에 대응하는 복수의 대응점들을 검출하는 동시에, 편차값으로 판정된 대응점을 제외하는 대응점 제어부와;
    상기 대응점이 상기 편차값　인지　여부를 판정하는 편차값 산출부와;
    상기 제외된 대응점을 제외한 나머지 대응점들에 의해 곡선 근사를 행하는 근사 곡선 산출부와;
    상기 곡선 근사에 의해 작성된 복수의 근사 곡선들로부터 높이 보정값을 산출하는 높이 보정값 산출부와;
    상기 높이 보정값에 기초하여 상기 제2 화상의 평행화를 행하는 평행화 실행부; 그리고
    상기 제1 화상 및 평행화를 행한 상기 제2 화상을 출력하는 화상 출력부를 포함하는 것을 특징으로 하는 스테레오 화상 처리 장치.
  2. 제 1 항에 있어서，
    상기 높이 보정값 산출부는,
    상기 근사 곡선들과 그것에 대응하는 대표점들을 연결하여 형성되는 직선과의 높이의 차를 계측하고, 이　높이의 차를 높이 방향 보정값으로 하며, 또한 상기 높이 방향 보정값에 기초하여 복수의 상기 근사 곡선의 사이의 공백 행에 대해서 높이 방향 보정값을 할당하여서 오프셋 맵을 작성하고,
    상기 평행화 실행부는,
    상기 오프셋 맵에 기초하여 상기 제2 화상의 평행화를 행하는 것을 특징으로 하는 스테레오 화상 처리 장치.
  3. 제 1 항 또는 제 2 항에 있어서，
    상기 대응점 제어부는, 블록 매칭법에 의해 상기 복수의 대응점들을 검출하는 것을 특징으로 하는 스테레오 화상 처리 장치.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 편차값 산출부는, 상기 검출된 대응점이 화상의 특징이 적은 부분의 대표점에 대응하는 경우 및/또는 주위의 대응점에 나타난 경향과 다른 경향을 갖는 경우에 상기 검출된 대응점을 상기 편차값으로 판정하는 것을 특징으로 하는 스테레오 화상 처리 장치.
  5. 스테레오 페어 화상이 입력되고,
    상기 스테레오 페어 화상의 제1 화상에 있어서 복수의 대표점들을 설정하고;
    상기 스테레오 페어 화상의 제2 화상에 있어서 상기 복수의 대표점들에 대응하는 복수의 대응점들을 검출하고;
    상기 대응점들 각각이 편차값인 지를 판정하고, 상기 편차값으로 판정된 대응점을 제외하고;
    상기 제외된 대응점을 제외하고 편차값 판정 후의 대응점들에 의해 곡선 근사를 행하며;
    상기 곡선 근사에 의해 작성된 복수의 근사 곡선으로부터 높이 보정값을 산출하고;
    상기 높이 보정값에 기초하여 상기 제2 화상을 평행화하고; 그리고
    상기 제1 화상 및 평행화를 행한 상기 제2 화상을 출력하는 것을 특징으로 하는 스테레오 화상 처리 방법.
  6. 제 5 항에 있어서，　
    상기 높이 보정값의 산출은,
    상기 근사 곡선과 그것에 대응하는 대표점들을 연결하여 형성되는 직선과의 높이의 차를 계측하고, 이　높이의 차를 높이 방향 보정값으로 하고, 또한 상기 높이 방향 보정값에 기초하여 복수의 상기 근사 곡선의 사이의 공백 행에 대해서 높이 방향 보정값을 할당하여 오프셋 맵을 작성하는 것을 포함하고,
    상기 평행화는, 상기 오프셋 맵에 기초하는 것을 특징으로 하는 스테레오 화상 처리 방법.
  7. 　제 5 항 또는 제6항에 있어서,
    상기 대응점의 검출은, 블록 매칭법에 의해 행하여 지는 것을 특징으로 하는 스테레오 화상 처리 방법.
  8. 제 5 항 내지 제 7 항 중 어느 한 항에 있어서，　
    상기 검출된 대응점이 화상의 특징이 적은 부분의 대표점에 대응하는 경우 및/또는 주위의 대응점에 나타난 경향과 다른 경향을 갖는 경우에 상기 검출된 대응점을 상기 편차값으로 판정하는 것을 특징으로 하는 스테레오 화상 처리 장치.
  9. 표시 패널과;
    제1 화상 및 제2 화상으로 이루어지는 스테레오 페어 화상을 포함하는 영상 신호가 입력되는 영상 신호 입력부와;
    상기 스테레오 페어 화상의 제2 화상의 높이 보정을 행하고 보정 스테레오 페어 화상을 생성하는 스테레오 화상 처리 장치와;
    상기 보정 스테레오 페어 화상의 스테레오 매칭을 행하고, 상기 제1 화상의 깊이 정보를 생성하는 스테레오 매칭부와;
    상기 제1 화상 및 상기 깊이 정보를 사용하여, 시차 영상을 작성하는 시차 영상 합성부; 그리고
    상기 시차 영상을 상기 표시 패널 상의 화소에 배분하기 위해 클럭 신호를 생성하는 타이밍 제어부를 포함하고,
    상기 스테레오 화상 처리 장치는, 상기 영상 신호 입력부로부터 스테레오 페어 화상이 입력되는 화상 입력부와;
    상기 스테레오 페어 화상의 상기 제1 화상에 있어서 복수의 대표점들을 설정하는 대표점 설정부와;
    상기 스테레오 페어 화상의 상기 제2 화상에 있어서 상기 복수의 대표점들에 대응하는 복수의 대응점들을 검출하고, 편차값과 반대된 대응점을 제외하는 대응점 제어부와;
    상기 대응점이 상기 편차값　인지　여부를 판정하는 편차값 산출부와;
    상기 제외된 대응점을 제외한 나머지 대응점들에 의해 곡선 근사를 행하는 근사 곡선 산출부와;
    상기 곡선 근사에 의해 작성된 복수의 근사 곡선들로부터 높이 보정값을 산출하는 높이 보정값 산출부와;
    상기 높이 보정값에 기초하여 제2 화상의 평행화를 행하는 평행화 실행부; 그리고
    상기 제1 화상 및 평행화를 행한 상기 제2 화상으로 이루어지는 보정 스테레오 페어 화상을 상기 스테레오 매칭부로 출력하는 화상 출력부를 포함하는 것을 특징으로 하는 표시 장치.
KR1020110113460A 2010-12-20 2011-11-02 스테레오 화상 처리 방법, 스테레오 화상 처리 장치 및 표시 장치 KR20120069546A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US13/314,631 US9380285B2 (en) 2010-12-20 2011-12-08 Stereo image processing method, stereo image processing device and display device
CN201110438997.5A CN102547343B (zh) 2010-12-20 2011-12-20 立体图像处理方法、立体图像处理装置和显示装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2010-283014 2010-12-20
JP2010283014A JP5581193B2 (ja) 2010-12-20 2010-12-20 ステレオ画像処理方法、ステレオ画像処理装置及び表示装置

Publications (1)

Publication Number Publication Date
KR20120069546A true KR20120069546A (ko) 2012-06-28

Family

ID=46649727

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110113460A KR20120069546A (ko) 2010-12-20 2011-11-02 스테레오 화상 처리 방법, 스테레오 화상 처리 장치 및 표시 장치

Country Status (2)

Country Link
JP (1) JP5581193B2 (ko)
KR (1) KR20120069546A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140051696A (ko) * 2012-10-23 2014-05-02 엘지디스플레이 주식회사 3d 디스플레이의 영상 정보 처리 장치 및 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3280001B2 (ja) * 1999-09-16 2002-04-30 富士重工業株式会社 ステレオ画像の位置ずれ調整装置
JP2001268431A (ja) * 2000-01-11 2001-09-28 Fujitsu Ltd 補正画像生成装置，補正画像生成方法，補正画像生成用プログラム記録媒体および補正画像生成用プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140051696A (ko) * 2012-10-23 2014-05-02 엘지디스플레이 주식회사 3d 디스플레이의 영상 정보 처리 장치 및 방법

Also Published As

Publication number Publication date
JP2012134619A (ja) 2012-07-12
JP5581193B2 (ja) 2014-08-27

Similar Documents

Publication Publication Date Title
US10699476B2 (en) Generating a merged, fused three-dimensional point cloud based on captured images of a scene
US8588516B2 (en) Interpolation image generation apparatus, reconstructed image generation apparatus, method of generating interpolation image, and computer-readable recording medium storing program
KR101626072B1 (ko) 영상 보정 장치 및 영상 보정 방법
EP3644281A1 (en) Calibration device, calibration chart, chart pattern generation device, and calibration method
US10659762B2 (en) Stereo camera
JP5633058B1 (ja) ３次元計測装置及び３次元計測方法
US20160117820A1 (en) Image registration method
CN107545586B (zh) 基于光场极线平面图像局部的深度获取方法及***
KR20120068470A (ko) 스테레오 영상 정합 장치 및 그 방법
WO2007052191A2 (en) Filling in depth results
KR20120130798A (ko) 차량 어라운드 뷰 영상 생성 방법
CN107808398B (zh) 摄像头参数算出装置以及算出方法、程序、记录介质
KR20110089299A (ko) 스테레오 매칭 처리 시스템, 스테레오 매칭 처리 방법, 및 기록 매체
CN110876053A (zh) 图像处理装置、驾驶支援***及记录介质
JP4296617B2 (ja) 画像処理装置および画像処理方法、並びに記録媒体
US10621694B2 (en) Image processing apparatus, system, image processing method, calibration method, and computer-readable recording medium
US9538161B2 (en) System and method for stereoscopic photography
US9380285B2 (en) Stereo image processing method, stereo image processing device and display device
JP6991700B2 (ja) 情報処理装置、情報処理方法、プログラム
US20150281672A1 (en) Stereo Matching Apparatus Using Image Property
KR101435611B1 (ko) 3차원 집적영상의 가려짐 문제 해결방법
KR102533909B1 (ko) 3차원 체적 모델의 생성을 위한 다시점 카메라 기반의 반복적 캘리브레이션 방법
US10726528B2 (en) Image processing apparatus and image processing method for image picked up by two cameras
KR20120069546A (ko) 스테레오 화상 처리 방법, 스테레오 화상 처리 장치 및 표시 장치
KR20110025083A (ko) 입체 영상 시스템에서 입체 영상 디스플레이 장치 및 방법

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application