KR101503691B1 - 입체영상 제작 시 인터레이스 이미지 처리 방법, 이를 이용하는 이미지 처리 장치 및 이를 포함하는 기록 매체 - Google Patents

입체영상 제작 시 인터레이스 이미지 처리 방법, 이를 이용하는 이미지 처리 장치 및 이를 포함하는 기록 매체 Download PDF

Info

Publication number
KR101503691B1
KR101503691B1 KR1020130014134A KR20130014134A KR101503691B1 KR 101503691 B1 KR101503691 B1 KR 101503691B1 KR 1020130014134 A KR1020130014134 A KR 1020130014134A KR 20130014134 A KR20130014134 A KR 20130014134A KR 101503691 B1 KR101503691 B1 KR 101503691B1
Authority
KR
South Korea
Prior art keywords
image
sub
dimensional
images
interlaced
Prior art date
Application number
KR1020130014134A
Other languages
English (en)
Other versions
KR20140100847A (ko
Inventor
이진영
Original Assignee
주식회사 로커스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 로커스 filed Critical 주식회사 로커스
Priority to KR1020130014134A priority Critical patent/KR101503691B1/ko
Publication of KR20140100847A publication Critical patent/KR20140100847A/ko
Application granted granted Critical
Publication of KR101503691B1 publication Critical patent/KR101503691B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)

Abstract

입체영상 제작 시 인터레이스 이미지 처리 방법은 인터레이스 이미지를 이용하여, 제1 서브 이미지 및 제2 서브 이미지를 추출하는 단계, 상기 제1 서브 이미지 및 상기 제2 서브 이미지로부터 각각 제1 삼차원 서브 이미지 및 제2 삼차원 서브 이미지를 형성하는 단계 및 상기 제1 삼차원 서브 이미지 및 제2 삼차원 서브 이미지를 결합하여 삼차원 이미지를 형성하는 단계를 포함한다.
따라서 보다 편리한 방법으로 2차원 영상을 이용하여 3차원 영상을 제작할 수 있게 된다.

Description

입체영상 제작 시 인터레이스 이미지 처리 방법, 이를 이용하는 이미지 처리 장치 및 이를 포함하는 기록 매체{METHOD FOR PROCESSING INTERLACE IMAGE WHEN MAKING THREE-DIMENSIONAL IMAGE, IMAGE PROCESSING DEVICE USING THE SAME AND RECORD MEDIUM HAVING THE SAME}
본 발명은 입체영상 제작 시 인터레이스 이미지 처리 방법, 이를 이용하는 이미지 처리 장치 및 이를 포함하는 기록 매체에 관한 것으로서, 보다 상세하게는 인터레이스 이미지를 처리하는 입체영상 제작 시 인터레이스 이미지 처리 방법, 이를 이용하는 이미지 처리 장치 및 이를 포함하는 기록 매체에 관한 것이다.
최근 들어 2차원 이미지를 이용하여 3차원 이미지를 생성하는 기술이 많이 도입되고 있다. 제작 단계에서부터 3차원을 고려한 영상이 아니기 때문에, 2차원 영상을 이용하여 3차원 영상을 제작하는 데에는 많은 이미지 처리 과정이 필요하다.
제작 단계에서부터 3차원을 고려하지 않은 2차원 이미지이기 때문에, 이를 이용하여 3차원 이미지를 생성하기 위해서는 2차원 이미지들을 각각 대상 오브젝트로 분리하는 과정이 필요하다. 각각의 오브젝트들을 이미지에서 분리한 후 이에 따른 거리 등을 계산하여 3차원 영상을 제작한다.
이렇듯 3차원 영상을 제작하기 위해서는 각각의 오브젝트들을 이미지에서 분리하는 과정이 반드시 필요한 데, 인터레이스 방식으로 제작된 영상은 각각의 이미지들이 서로 다른 프레임들이 혼합된 영상이어서 오브젝트들이 선명하지 않고, 따라서 이러한 오브젝트들을 이미지에서 분리하는 과정이 용이하지 않다. 따라서, 용이한 방법으로 오브젝트들을 분리할 수 있는 방법이 필요하다.
따라서, 본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로서, 두 개의 프레임에 대한 이미지를 결합하여 형성된 인터레이스 이미지를 다시 분리하여 이미지를 처리하여 보다 효율적으로 이미지를 처리할 수 있는 입체영상 제작 시 인터레이스 이미지 처리 방법을 제공하기 위한 것이다.
또한, 본 발명은 이러한 입체영상 제작 시 인터레이스 이미지 처리 방법을 이용하는 입체영상 제작 시 인터레이스 이미지 처리 장치를 제공하는 것이다.
또한, 본 발명은 이러한 입체영상 제작 시 인터레이스 이미지 처리 방법을 구동하는 프로그램이 기록된 기록 매체를 제공하는 것이다.
본 발명의 다른 목적들은 이하에 서술되는 바람직한 실시예를 통하여 보다 명확해질 것이다.
본 발명의 일 측면에 따르면, 입체영상 제작 시 인터레이스 이미지 처리 방법은 인터레이스 이미지를 이용하여, 제1 서브 이미지 및 제2 서브 이미지를 추출하는 단계, 상기 제1 서브 이미지 및 상기 제2 서브 이미지로부터 각각 제1 삼차원 서브 이미지 및 제2 삼차원 서브 이미지를 형성하는 단계 및 상기 제1 삼차원 서브 이미지 및 제2 삼차원 서브 이미지를 결합하여 삼차원 이미지를 형성하는 단계를 포함한다.
본 발명의 일 실시예에 따르면, 상기 인터레이스 이미지는 2N개의 라인을 가지고, 상기 제1 서브 이미지 및 제2 서브 이미지는 각각 N개의 라인을 가지는 것을 특징으로 할 수 있다.
본 발명의 일 실시예에 따르면, 상기 제1 서브 이미지는 상기 인터레이스 이미지의 홀수번째 라인에 해당되는 이미지를 추출하여 형성되고, 상기 제2 서브 이미지는 상기 인터레이스 이미지의 짝수번째 라인에 해당되는 이미지를 추출하여 형성되는 것을 특징으로 할 수 있다.
본 발명의 일 실시예에 따르면, 상기 인터레이스 이미지는, 복수의 프레임 이미지를 포함하는 원본 영상으로부터, 서로 다른 프레임의 이미지를 추출한 후 결합되어 형성되는 것을 특징으로 할 수 있다.
본 발명의 일 실시예에 따르면, 상기 인터레이스 이미지는, f번째 및 f+1 번째 프레임의 이미지를 결합하여 형성되는 것을 특징으로 할 수 있다.
본 발명의 일 실시예에 따르면, 상기 인터레이스 이미지는, 상기 f번째 프레임의 이미지의 n번째 라인의 이미지와, 상기 f+1번째 프레임의 이미지의 n+1번째 라인의 이미지를 결합하여 형성하는 것을 특징으로 할 수 있다.
본 발명의 일 실시예에 따르면, 상기 인터레이스 이미지는 대상의 아웃라인이 불연속적인 것을 특징으로 할 수 있다.
본 발명의 일 실시예에 따르면, 삼차원 이미지를 형성하는 방법은, 상기 대상의 아웃라인을 따라 이미지를 분리하는 단계, 분리된 이미지에 거리를 할당하는 단계 및 상기 할당된 거리에 따른 삼차원 이미지를 형성하는 단계를 포함하는 것을 특징으로 할 수 있다.
본 발명의 다른 측면에 따르면, 입체영상 제작 시 인터레이스 이미지 처리 장치는 인터레이스 이미지를 입력 받는 인터레이스 이미지 입력부, 상기 인터레이스 이미지로부터 제1 및 제2 서브 이미지를 추출하는 서브 이미지 추출부, 상기 제1 및 제2 서브 이미지로부터 각각 제1 및 제2 삼차원 서브 이미지를 형성하는 삼차원 이미지 형성부 및 상기 제1 및 제2 삼차원 서브 이미지를 결합하여 삼차원 이미지를 형성하는 삼차원 이미지 결합부를 포함한다.
본 발명의 일 실시예에 따르면, 상기 인터레이스 이미지는 2N개의 라인을 가지고, 상기 제1 서브 이미지 및 제2 서브 이미지는 각각 N개의 라인을 가지는 것을 특징으로 할 수 있다.
본 발명의 일 실시예에 따르면, 상기 제1 서브 이미지는 상기 인터레이스 이미지의 홀수번째 라인에 해당되는 이미지를 추출하여 형성되고, 상기 제2 서브 이미지는 상기 인터레이스 이미지의 짝수번째 라인에 해당되는 이미지를 추출하여 형성되는 것을 특징으로 할 수 있다.
본 발명의 일 실시예에 따르면, 상기 인터레이스 이미지는, 복수의 프레임 이미지를 포함하는 원본 영상으로부터, 서로 다른 프레임의 이미지를 추출한 후 결합되어 형성되는 것을 특징으로 할 수 있다.
본 발명의 일 실시예에 따르면, 상기 인터레이스 이미지는, f번째 및 f+1 번째 프레임의 이미지를 결합하여 형성되는 것을 특징으로 할 수 있다.
본 발명의 일 실시예에 따르면, 상기 인터레이스 이미지는, 상기 f번째 프레임의 이미지의 n번째 라인의 이미지와, 상기 f+1번째 프레임의 이미지의 n+1번째 라인의 이미지를 결합하여 형성하는 것을 특징으로 할 수 있다.
본 발명의 일 실시예에 따르면, 상기 인터레이스 이미지는 대상의 아웃라인이 불연속적인 것을 특징으로 할 수 있다.
본 발명의 일 실시예에 따르면, 삼차원 이미지를 형성부는, 상기 대상의 아웃라인을 따라 이미지를 분리하는 이미지 분리부, 분리된 이미지에 거리를 할당하는 깊이 할당부, 상기 할당된 거리에 따른 삼차원 이미지를 형성하는 이미지 생성부를 포함하는 것을 특징으로 할 수 있다.
본 발명의 또 다른 측면에 따르면, 상기의 방법을 수행하기 위한 명령어들의 조합이 유형적으로 구현되어 있으며 디지털 정보 처리 장치에 의해 판독 가능한 프로그램이 기록된 기록 매체가 구현될 수 있다.
이와 같은 입체영상 제작 시 인터레이스 이미지 처리 방법 및 이를 이용하는 입체영상 제작 시 인터레이스 이미지 처리 장치에 따르면, 서로 혼합되어 형성되었던 인터레이스 이미지들을 다시 원래의 프레임 별로 분리함으로써, 대상 오브젝트를 더욱 명확하게 분리할 수 있게 된다.
따라서, 보다 편리한 방법으로 2차원 영상을 이용하여 3차원 영상을 제작할 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른 삼차원 이미지 처리 방법을 나타내는 순서도이다.
도 2는 도 1의 실시예에 따른 삼차원 이미지 처리 장치의 개념도이다.
도 3a 및 도 3b는 원본 영상으로부터 추출된 서로 다른 프레임의 이미지들을 나타나는 개념도들이다.
도 4a 및 도 4b는 도 3a 및 도 3b의 이미지들을 이용하여 인터레이스 이미지를 형성하는 과정을 나타내는 개념도이다.
도 5는 본 발명의 일 실시예에 따른 삼차원 이미지 처리 방법에 이용되는 인터레이스 이미지를 나타내는 개념도이다.
도 6a 및 도 6b는 도 5의 실시예에 따른 삼차원 이미지 처리 방법에 이용되는 제1 및 제2 서브 이미지를 나타내는 개념도이다.
도 7a 및 도 7b는 도 5의 실시예에 따른 삼차원 이미지 처리 방법에 이용되는 제1 삼차원 서브 이미지 및 제2 삼차원 서브 이미지를 나타내는 개념도이다.
도 8은 도 5의 실시예에 따른 삼차원 이미지 처리 방법에 의해 처리된 삼차원 이미지를 나타내는 개념도이다.
도 9는 본 발명의 일 실시예에 따른 삼차원 이미지 처리 방법에 이용되는 인터레이스 이미지를 나타내는 평면도이다.
도 10a 및 도 10b는 도 9의 실시예에 따라 인터레이스 이미지로부터 분리된 제1 및 제2 서브이미지를 나타내는 평면도이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 이하, 본 발명의 실시예를 첨부한 도면들을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 삼차원 이미지 처리 방법을 나타내는 순서도이다. 도 2는 도 1의 실시예에 따른 삼차원 이미지 처리 장치의 개념도이다.
도 1 및 2를 참조하면, 본 실시예에 따른 입체영상 제작 시 인터레이스 이미지 처리 방법은 인터레이스 이미지를 이용하여, 제1 서브 이미지 및 제2 서브 이미지를 추출하는 단계(S100), 상기 제1 서브 이미지 및 상기 제2 서브 이미지로부터 각각 제1 삼차원 서브 이미지 및 제2 삼차원 서브 이미지를 형성하는 단계(S200) 및 상기 제1 삼차원 서브 이미지 및 제2 삼차원 서브 이미지를 결합하여 삼차원 이미지를 형성하는 단계(S300)를 포함한다. 본 실시예에 따른 이미지 처리 방법을 이용하는 이미지 처리 장치(1000)는 인터레이스 이미지를 입력 받는 인터레이스 이미지 입력부(110), 상기 인터레이스 이미지로부터 제1 및 제2 서브 이미지를 추출하는 서브 이미지 추출부(210), 상기 제1 및 제2 서브 이미지로부터 각각 제1 및 제2 삼차원 서브 이미지를 형성하는 삼차원 이미지 형성부(310, 320) 및 상기 제1 및 제2 삼차원 서브 이미지를 결합하여 삼차원 이미지를 형성하는 삼차원 이미지 결합부(410)를 포함한다.
본 실시예에 따른 삼차원 이미지 처리 방법에 입력되는 인터레이스 이미지는 원본 영상으로부터 프레임 별로 추출된 이미지이다. 일반적인 동영상 처리 방식 중 하나는 인터레이스(interlace) 방식이며, 매 프레임마다 카메라가 인지하는 모든 영상을 저장하지 않고, f번째 프레임의 이미지와 f+1번째 프레임의 이미지를 각각 절반씩 혼합하여 영상을 저장한다. 이러한 이유는, 데이터 처리 용량을 감소 시킬 수 있어, 적은 데이터 및 빠른 속도로 영상을 제작할 수 있기 때문이다. 따라서, 하나의 이미지는 동시에 두 개의 프레임에 대한 내용을 포함한다. 많은 동영상 데이터들이 인터레이스 방식으로 처리되어 제작된다. 이미 인터레이스 방식으로 제작된 동영상 데이터는 두 개의 프레임 이미지가 겹쳐져 이미지로 처리가 되었기 때문에, 이전의 원본 영상으로 복원할 수는 없다. 원본 이미지의 복원을 위해서는 생략된 이미지의 부분들이 추가로 필요한데, 이를 공급할 수 없기 때문이다.
도 3a 및 도 3b 그리고 도 4a 및 도 4b는 이러한 인터레이스 이미지가 형성되는 과정을 나타내는 도면이다. 도 3a 및 도 3b는 원본 영상으로부터 추출된 서로 다른 프레임의 이미지들을 나타나는 개념도들이다.
도 3a 및 도 3b를 참조하면, f번째 프레임의 이미지(F1) 및 f+1번째 프레임의 이미지(F2)가 도시되며, 대상물체(O1, O2)들이 왼쪽에서 오른쪽으로 이동하고 있다. 원본 영상은 제한된 시간 내에 복수개의 프레임을 포함하며, 각 프레임은 이에 해당하는 이미지를 포함한다. 각 이미지 아래에 도시되는 제1 오브젝트의 위치(P1) 및 제2 오브젝트의 위치(P2)는 해당 이미지에서 오브젝트가 움직이고 있음을 참고하기 위해 나타난 각 오브젝트의 위치들이다.
f번째 프레임 이미지(F1) 및 f+1번째 프레임 이미지(F2)를 촬영한 동영상 촬영 장치는 각 프레임들을 모두 그대로 저장하지 않고, 프레임들의 이미지를 저장하기 전에 일련의 과정을 거칠 수 있다. f번째 프레임 이미지(F1) 및 f+1번째 프레임 이미지(F2)를 각각 서로 결합하여 하나의 이미지로 만들어 이를 저장하는 경우에는 두 개의 이미지에 저장할 공간을 하나로 줄일 수 있으므로, 제한된 처리 용량을 가지는 처리 장치 또는 제한된 저장 용량을 가지는 저장 장치 등에도 적용될 수 있는 장점이 있다.
실질적으로 움직이는 영상의 경우 많은 자원을 소모하기 때문에, 다양한 방식으로 영상을 압축하는 기술이 이용되는데, 인터레이스 처리 방식 또한 이러한 동영상 또는 이미지 처리 방법 중의 하나라고 할 수 있다. 인터레이스 이미지를 형성하기 위해서는 하나의 프레임에 해당하는 이미지와 해당 프레임 바로 다음의 프레임에 해당하는 이미지가 필요하다. 프레임이 인접한 이미지이기 때문에, 양 프레임에 해당하는 이미지는 큰 차이가 존재하지는 않고, 일부 대상 물체가 움직이는 부분에 있어서 차이가 발생할 수 있다. 이러한 양 프레임에 해당하는 두 개의 이미지에서 각각 필요한 부분을 발췌하여 인터레이스 이미지를 형성한다.
도 4a 및 도 4b는 도 3a 및 도 3b의 이미지들을 이용하여 인터레이스 이미지를 형성하는 과정을 나타내는 개념도이다.
도 4a 및 도 4b를 참조하면, 제1 서브 인터레이스 이미지(FI1)는 도 3a에 도시되는 f번째 프레임의 이미지(F1)에서 짝수번째 라인에 해당하는 이미지를 추출한 이미지이다. 제2 서브 인터레이스 이미지(FI2)는 도 3b에 도시되는 f+1번째 프레임의 이미지(F2)에서 홀수번째 라인에 해당하는 이미지를 추출한 이미지이다. 상기 제1 서브 인터레이스 이미지(FI1) 및 제2 서브 인터레이스 이미지(FI2)는 각각 f 번째 프레임의 이미지(F1) 및 f+1 번째 프레임의 이미지(F2)의 절반에 해당하는 이미지들이다. 각각 프레임의 절반에 해당하는 이미지를 합하여 하나의 이미지를 새롭게 형성하는 방법이 인터레이스 방식이며, 이러한 방식을 이용하여 생성되는 이미지는 인터레이스 이미지가 될 수 있다.
도 5는 본 발명의 일 실시예에 따른 삼차원 이미지 처리 방법에 이용되는 인터레이스 이미지를 나타내는 개념도이다.
도 5를 참조하면, 본 실시예에 따른 삼차원 이미지 처리 방법에 이용되는 인터레이스 이미지(IL1)는 총 2N개의 라인을 포함한다. 앞서 설명한 바와 같이 하나의 인터레이스 이미지(IL1)는 통상 두 개의 프레임에 해당하는 두 개의 이미지들을 혼합하여 형성되기 때문에, 상기 하나의 인터레이스 이미지(IL1)는 f번째 프레임 이미지에 해당하는 라인 및 f+1번째 프레임 이미지에 해당하는 라인이 혼합되어 형성된다.
이러한 인터레이스 이미지(IL1)의 특징은 서로 다른 이미지들을 한 개의 라인씩 번갈아 가면서 결합한 이미지이기 때문에, 각 이미지의 아웃 라인을 따라서 불연속적인 부분이 존재하게 된다. 본 실시예에 따른 인터레이스 이미지(IL1)의 제1 오브젝트(O1) 및 제2 오브젝트(O2)는 프레임의 변화에 따라 이동하는 대상 오브젝트이므로, 이전 프레임과 다음 프레임에 해당하는 각각의 이미지에서 서로 상대적인 위치에 차이가 발생하며, 이러한 다른 프레임에 해당하는 이미지들을 결합하여 인터레이스 이미지를 형성하는 경우에는 불연속적인 아웃 라인이 형성하게 된다.
도 6a 및 도 6b는 도 5의 실시예에 따른 삼차원 이미지 처리 방법에 이용되는 제1 및 제2 서브 이미지를 나타내는 개념도이다.
도 6a 및 도 6b를 참조하면, 본 실시예에 따른 삼차원 이미지 처리 방법에서는 입력된 인터레이스 이미지를 각각 제1 서브 이미지(SI1) 및 제2 서브 이미지(SI2)로 분리 추출한다(S200).
도 6a에 도시된 제1 서브 이미지(SI1)는 상기 인터레이스 이미지(IL1)에서 짝수번째 라인에 해당하는 이미지만을 추출하여 생성한 이미지이다. 따라서, 인터레이스 이미지(IL1)이 2N개의 라인을 포함하고 있는 경우에는, 상기 제1 서브 이미지(SI1)는 N개의 라인을 포함하게 된다. 예를 들어, 상기 인터레이스 이미지(IL1)가 1080*800의 해상도를 가지고 있는 경우에는 상기 제1 서브 이미지(SI1)는 1080*400의 해상도를 가지게 된다.
상기 제1 서브 이미지(SI1)는 원본 영상에서 f번째 프레임에 해당하는 이미지로부터 추출된 이미지이기 때문에, 실질적으로는 모든 라인이 동일한 이미지로부터 추출된 것이 된다. 따라서, 추출된 라인들(2a, 4a, 6a, …, 14a)에 대해서는 불연속적인 면이 줄어들어 형성된다. 물론 하나의 라인을 생략하면서 절반의 용량으로 형성되는 이미지이기 때문에, 불연속적인 아웃 라인을 모두 배제할 수는 없지만, 서로 다른 프레임이 결합되어 형성되는 인터레이스 이미지와 비교하는 경우 하나의 독립된 이미지 만을 대상으로 추출하여 구성된 이미지이므로, 대상 오브젝트의 아웃 라인이 불연속적인 부분이 상대적으로 매우 줄어들게 된다.
도 6b에 도시된 제2 서브 이미지(SI2)는 상기 인터레이스 이미지(IL1)에서 홀수번째 라인에 해당하는 이미지만을 추출하여 생성한 이미지이다. 따라서, 제1 서브 이미지(SI1)과 동일하게 인터레이스 이미지(IL1)가 2N라인을 포함하고 있는 경우에는 제2 서브 이미지(SI2)는 N개의 라인을 포함하게 된다. 앞에서 언급한 해상도 역시 제2 서브 이미지도 제1 서브 이미지와 같은 조건이 적용된다.
상기 제2 서브 이미지(SI2)는 원본 영상에서 f+1 번째 프레임에 해당하는 이미지로부터 추출된 이미지이기 때문에, 역시 불연속적인 아웃라인이 줄어들어 형성된다. 완벽한 하나의 영상과 비교하여서는 불연속적인 면이 발생될 가능성이 높지만, 서로 다른 이미지를 결합하여 형성하는 경우와 비교하여서는 불연속적인 아웃라인의 발생을 현저히 줄일 수 있음은 앞서 언급한 것과 동일하다.
도 7a 및 도 7b는 도 5의 실시예에 따른 삼차원 이미지 처리 방법에 이용되는 제1 삼차원 서브 이미지 및 제2 삼차원 서브 이미지를 나타내는 개념도이다.
도 7a 및 도 7b를 참조하면, 제1 및 제2 서브 이미지들을 따로 독립적으로 분리한 이후 이를 이용하여 각각 삼차원 이미지들을 형성한다(S200).
삼차원 이미지들을 형성하기 위해서는 상기 대상의 아웃라인을 따라 이미지를 분리하는 단계, 분리된 이미지에 거리를 할당하는 단계 및 상기 할당된 거리에 따른 삼차원 이미지를 형성하는 단계를 포함하는 과정을 거친다.
상기 대상의 아웃라인을 따라 이미지를 분리하는 단계는 대상 오브젝트의 아웃라인이 명확할수록 이미지를 분리하기가 용이해진다. 도 6a에 도시된 제1 서브 이미지(SI1)는 도 5에 도시된 인터레이스 이미지(IL1)과 비교하면 훨씬 명확한 오브젝트의 아웃라인을 포함한다. 따라서, 삼차원 이미지들을 형성하기 위하여 대상 오브젝트들의 아웃 라인을 따라 이미지를 분리하는 단계를 매우 용이하게 작업할 수 있다.
분리된 이미지에 거리를 할당하는 단계 및 상기 할당된 거리에 따른 삼차원 이미지를 형성하는 단계는 통상적으로 적용되는 삼차원 이미지 형성 방법에 따라 적용될 수 있다.
도 8은 도 5의 실시예에 따른 삼차원 이미지 처리 방법에 의해 처리된 삼차원 이미지를 나타내는 개념도이다.
도 8을 참조하면, 도 7a 및 도 7b에 도시된 제1 및 제2 삼차원 서브 이미지들을 서로 결합하여 형성된 삼차원 이미지가 도시된다. 본 실시예에서는 삼차원 처리가 이루어진 이미지들을 단순히 명암이 더욱 선명해지는 것으로 표현되었다. 이것은 지면상에 삼차원 이미지들을 표현하는 것이 한계에 있기 때문에, 삼차원 처리가 이루어진 영상을 이렇게 표현한 것뿐이며, 실질적으로는 다양한 삼차원 처리 기법이 적용되어 이러한 삼차원 이미지를 형성할 수 있다.
삼차원 이미지를 형성하는 방법에 적용되는 것은, 좌안 및 우안용 이미지를 별도로 생성하는 방법, 원거리 및 근거리에 따른 명암비를 조절하는 방법 등 다양한 기법들이 적용될 수 있으며, 본 실시예에서는 이러한 삼차원 이미지를 형성하는 방법을 적용하기 이전에 그 대상 오브젝트들을 보다 명확히 추출해 내기 위한 처리 과정이 포함되는 것이 특징이다.
도 9는 본 발명의 일 실시예에 따른 삼차원 이미지 처리 방법에 이용되는 인터레이스 이미지를 나타내는 평면도이다.
도 9를 참조하면, 일반적인 인터레이싱 기법에 의해 촬영된 영상이 도시된다. 인터레이스 영상으로부터 추출된 인터레이스 이미지(E)는 서로 다른 인접한 프레임의 이미지들로부터 각각 절반에 해당하는 이미지들을 추출하고, 두 개의 추출된 절반의 이미지들을 결합하여 하나의 이미지를 형성한다.
따라서, 상기 인터레이스 이미지(E)는 대상 오브젝트의 아웃라인이 명확하게 형성되지 않으며, 상기 인터레이스 이미지(E)를 추출하는 기준이 라인이었으므로, 대상 물체의 아웃라인이 톱니 형상으로 형성된다. 따라서, 이러한 이미지를 기준으로 대상 오브젝트를 정의 하는 경우 대상 오브젝트의 아웃라인이 명확하게 나타나지 않으므로, 명확한 오브젝트에 대한 이미지를 추출하기가 용이하지 않다.
도 10a 및 도 10b는 도 9의 실시예에 따라 인터레이스 이미지로부터 분리된 제1 및 제2 서브이미지를 나타내는 평면도이다.
도 10a 및 도 10b를 참조하면, 상기 인터레이스 이미지(E)로부터 각각 추출된 제1 서브 이미지(E1) 및 제2 서브 이미지(E2)가 도시된다. 앞서 언급한 바와 같이, 인터레이스 이미지(E)들을 직접 삼차원 작업하지 않고, 이와 같이 제1 서브 이미지(E1) 및 제2 서브 이미지(E2)로 추출한 후 각각의 서브 이미지들을 기준으로 삼차원 이미지를 제작하고, 제작된 삼차원 이미지를 다시 결합하여 최종적인 삼차원 이미지를 형성하게 된다. 따라서, 더욱 효율적인 방법으로 삼차원 이미지를 형성할 수 있다.
이상에서 설명한 본 발명에 따른 이미지 처리 방법 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현할 수 있다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 인터넷을 통한 전송과 같이 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
상기한 본 발명의 바람직한 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대해 통상의 지식을 가진 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.
1000 : 이미지 처리 장치
110 : 인터레이스 이미지 입력부 210 : 서브 이미지 추출부
310, 320 : 삼차원 이미지 형성부 410 : 삼차원 이미지 결합부
IL1 : 인터레이스 이미지
SI1 : 제1 서브 이미지 SI2 : 제2 서브 이미지
SIT1 : 제1 삼차원 서브 이미지 SIT2 : 제2 삼차원 서브 이미지
IT1 : 삼차원 이미지

Claims (17)

  1. 복수의 프레임 이미지를 포함하는 원본 영상으로부터, 서로 다른 프레임의 이미지를 추출한 후 결합되어 형성된 인터레이스 이미지를 이용하여, 제1 서브 이미지 및 제2 서브 이미지를 추출하는 단계-상기 인터레이스 이미지는 f번째 프레임의 이미지의 n번째 라인의 이미지와, f+1번째 프레임의 이미지의 n+1번째 라인의 이미지를 결합하여 형성되어 대상 오브젝트의 아웃라인이 불연속적이며, 상기 제1 서브 이미지는 상기 인터레이스 이미지의 짝수번째 라인에 해당되는 이미지를 추출하여 형성되고, 상기 제2 서브 이미지는 상기 인터레이스 이미지의 홀수번째 라인에 해당되는 이미지를 추출하여 형성됨- ;
    상기 제1 서브 이미지 및 상기 제2 서브 이미지로부터 각각 제1 삼차원 서브 이미지 및 제2 삼차원 서브 이미지를 형성하는 단계; 및
    상기 제1 삼차원 서브 이미지 및 제2 삼차원 서브 이미지를 결합하여 삼차원 이미지를 형성하는 단계;를 포함하고,
    상기 제1 삼차원 서브 이미지 및 제2 삼차원 서브 이미지를 형성하는 단계는,
    상기 제1 서브 이미지 및 제2 서브 이미지 내 대상 오브젝트의 아웃라인을 따라 상기 대상 오브젝트의 이미지를 분리하는 단계;
    상기 분리된 이미지에 거리를 할당하는 단계; 및
    상기 할당된 거리에 따른 삼차원 이미지를 형성하는 단계를 포함하는 것을 특징으로 하는 입체영상 제작 시 인터레이스 이미지 처리 방법.
  2. 제1항에 있어서,
    상기 인터레이스 이미지는 2N개의 라인을 가지고,
    상기 제1 서브 이미지 및 제2 서브 이미지는 각각 N개의 라인을 가지는 것을 특징으로 하는 입체영상 제작 시 인터레이스 이미지 처리 방법.
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 복수의 프레임 이미지를 포함하는 원본 영상으로부터, 서로 다른 프레임의 이미지를 추출한 후 결합되어 형성된 인터레이스 이미지를 입력 받는 인터레이스 이미지 입력부;
    상기 인터레이스 이미지로부터 제1 및 제2 서브 이미지를 추출하는 서브 이미지 추출부-상기 인터레이스 이미지는 f번째 프레임의 이미지의 n번째 라인의 이미지와, f+1번째 프레임의 이미지의 n+1번째 라인의 이미지를 결합하여 형성되어 대상 오브젝트의 아웃라인이 불연속적이며, 상기 제1 서브 이미지는 상기 인터레이스 이미지의 짝수번째 라인에 해당되는 이미지를 추출하여 형성되고, 상기 제2 서브 이미지는 상기 인터레이스 이미지의 홀수번째 라인에 해당되는 이미지를 추출하여 형성됨- ;
    상기 제1 및 제2 서브 이미지로부터 각각 제1 및 제2 삼차원 서브 이미지를 형성하는 삼차원 이미지 형성부; 및
    상기 제1 및 제2 삼차원 서브 이미지를 결합하여 삼차원 이미지를 형성하는 삼차원 이미지 결합부를 포함하고,
    상기 삼차원 이미지 형성부는,
    상기 제1 및 제2 서브 이미지 내 대상 오브젝트의 아웃라인을 따라 상기 대상 오브젝트의 이미지를 분리하는 이미지 분리부;
    상기 분리된 이미지에 거리를 할당하는 깊이 할당부; 및
    상기 할당된 거리에 따른 삼차원 이미지를 형성하는 이미지 생성부를 포함하는 것을 특징으로 하는 입체영상 제작 시 인터레이스 이미지 처리 장치.
  10. 제9항에 있어서,
    상기 인터레이스 이미지는 2N개의 라인을 가지고,
    상기 제1 서브 이미지 및 제2 서브 이미지는 각각 N개의 라인을 가지는 것을 특징으로 하는 입체영상 제작 시 인터레이스 이미지 처리 장치.
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 제1항 및 제2항 중 어느 한 항의 방법을 수행하기 위한 명령어들의 조합이 유형적으로 구현되어 있으며 디지털 정보 처리 장치에 의해 판독 가능한 프로그램이 기록된 기록 매체.
KR1020130014134A 2013-02-07 2013-02-07 입체영상 제작 시 인터레이스 이미지 처리 방법, 이를 이용하는 이미지 처리 장치 및 이를 포함하는 기록 매체 KR101503691B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130014134A KR101503691B1 (ko) 2013-02-07 2013-02-07 입체영상 제작 시 인터레이스 이미지 처리 방법, 이를 이용하는 이미지 처리 장치 및 이를 포함하는 기록 매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130014134A KR101503691B1 (ko) 2013-02-07 2013-02-07 입체영상 제작 시 인터레이스 이미지 처리 방법, 이를 이용하는 이미지 처리 장치 및 이를 포함하는 기록 매체

Publications (2)

Publication Number Publication Date
KR20140100847A KR20140100847A (ko) 2014-08-18
KR101503691B1 true KR101503691B1 (ko) 2015-03-19

Family

ID=51746531

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130014134A KR101503691B1 (ko) 2013-02-07 2013-02-07 입체영상 제작 시 인터레이스 이미지 처리 방법, 이를 이용하는 이미지 처리 장치 및 이를 포함하는 기록 매체

Country Status (1)

Country Link
KR (1) KR101503691B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010036217A (ko) * 1999-10-06 2001-05-07 이영화 입체영상 표시방법 및 그 장치
JP2001136489A (ja) * 1999-11-08 2001-05-18 Matsushita Electric Ind Co Ltd 映像記録装置、映像記録方法、映像再生装置、及び、映像再生方法
JP2011199346A (ja) * 2010-03-17 2011-10-06 Panasonic Corp 撮像装置、出力装置
JP2012244622A (ja) * 2011-05-17 2012-12-10 Samsung Electronics Co Ltd コンテンツ変換装置、コンテンツ変換方法及びその貯蔵媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010036217A (ko) * 1999-10-06 2001-05-07 이영화 입체영상 표시방법 및 그 장치
JP2001136489A (ja) * 1999-11-08 2001-05-18 Matsushita Electric Ind Co Ltd 映像記録装置、映像記録方法、映像再生装置、及び、映像再生方法
JP2011199346A (ja) * 2010-03-17 2011-10-06 Panasonic Corp 撮像装置、出力装置
JP2012244622A (ja) * 2011-05-17 2012-12-10 Samsung Electronics Co Ltd コンテンツ変換装置、コンテンツ変換方法及びその貯蔵媒体

Also Published As

Publication number Publication date
KR20140100847A (ko) 2014-08-18

Similar Documents

Publication Publication Date Title
JP4938093B2 (ja) ２ｄ−ｔｏ−３ｄ変換のための２ｄ画像の領域分類のシステム及び方法
JP6021541B2 (ja) 画像処理装置及び方法
EP2947627B1 (en) Light field image depth estimation
US9584723B2 (en) Apparatus and method for creating panorama
EP2724343B1 (en) Video remixing system
US9313473B2 (en) Depth video filtering method and apparatus
EP3139602B1 (en) Image processing method and apparatus
CN105631813A (zh) 图像处理方法
EP2462748A1 (en) Method and system for handling multiple 3-d video formats
JP2011523323A (ja) 映像変換方法及び装置
US20120105601A1 (en) Apparatus and method for creating three-dimensional panoramic image by using single camera
KR20130084850A (ko) 시차 값을 생성하는 영상 처리 방법 및 장치
JP2009244502A (ja) 画像処理装置、画像表示装置、撮像装置及び画像処理方法
JP5519085B1 (ja) 動画像生成装置および動画像生成方法
JP2019527425A (ja) 場面の積層深度データを生成するための方法
US20170188008A1 (en) Method and device for generating depth map
KR101253495B1 (ko) 입체 영상 표시 장치 및 움직임 벡터 도출 방법
KR20080047673A (ko) 입체영상 변환 장치 및 그 방법
US11223817B2 (en) Dual stereoscopic image display apparatus and method
KR100989435B1 (ko) 다시점 영상 처리 방법 및 장치
KR101503691B1 (ko) 입체영상 제작 시 인터레이스 이미지 처리 방법, 이를 이용하는 이미지 처리 장치 및 이를 포함하는 기록 매체
DE102015210180A1 (de) Verfahren einer mit einer beliebigen Bit-Tiefe kompatiblen Tiefencodierung
US8879872B2 (en) Method and apparatus for restoring resolution of multi-view image
KR101801898B1 (ko) 다시점 영상 기반의 단일 영상 처리 방법 및 장치
JP6031566B1 (ja) 特徴抽出装置、画像検索装置、方法、及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180412

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190131

Year of fee payment: 5