KR20140120000A - 3차원공간의 분석을 통한 입체영상 자막 생성 장치 및 방법 - Google Patents

3차원공간의 분석을 통한 입체영상 자막 생성 장치 및 방법 Download PDF

Info

Publication number
KR20140120000A
KR20140120000A KR1020130035313A KR20130035313A KR20140120000A KR 20140120000 A KR20140120000 A KR 20140120000A KR 1020130035313 A KR1020130035313 A KR 1020130035313A KR 20130035313 A KR20130035313 A KR 20130035313A KR 20140120000 A KR20140120000 A KR 20140120000A
Authority
KR
South Korea
Prior art keywords
camera
caption
plane
image
stereoscopic image
Prior art date
Application number
KR1020130035313A
Other languages
English (en)
Inventor
장경호
김해동
장호욱
남승우
유정재
김명하
박수란
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020130035313A priority Critical patent/KR20140120000A/ko
Priority to US14/161,932 priority patent/US20140293019A1/en
Publication of KR20140120000A publication Critical patent/KR20140120000A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

3차원공간의 분석을 통한 입체영상 자막 생성 장치 및 방법이 개시된다. 본 발명의 일실시예에 따른 입체영상 자막 생성 장치는, 제1 영상과 제2 영상 각각으로부터 제1 카메라 및 제2 카메라의 위치를 계산하는 카메라 위치 계산부, 상기 계산된 위치에서의, 상기 제1 카메라가 갖는 시야 방향과, 상기 제2 카메라가 갖는 시야 방향을 이용하여 자막평면을 배치하는 자막평면 배치부, 상기 자막평면으로 자막을 생성하는 자막 생성부를 포함한다.

Description

3차원공간의 분석을 통한 입체영상 자막 생성 장치 및 방법{DEVICE AND METHOD FOR PRODUCING STEREOSCOPIC SUBTITLES BY ANALYSING THREE-DIMENSIONAL SPACE}
본 발명의 실시예들은, 제1 영상과 제2 영상 각각으로부터 제1 카메라 및 제2 카메라의 위치를 계산하고, 상기 계산된 위치를 기준으로 자막평면을 배치하여 입체영상의 자막을 생성하는 기술에 관한 것이다.
입체영상에 자막을 표시할 때 두 개의 카메라를 통해 획득된 좌우 영상에 각각 2차원 영상을 배치할 수 있다. 이와 같은 방식은 상기 좌우영상의 자막 위치를 결정하고 확인하는 복잡한 절차가 필요할 수 있다.
이에 따라, 3차원 분석을 통해 카메라의 전방에 자막평면을 배치한 후, 좌우영상 중 자막의 위치가 결정된 영상을 투영함으로써, 다른 영상에서 자막의 위치를 자동으로 지정할 수 있는 기술이 요구되고 있다.
본 발명의 실시예는 카메라를 포함하는 3차원 공간을 분석하여, 상기 카메라 앞에 자막평면을 배치하고, 사용자의 입력에 따라 위치를 조정하는 것을 목적으로 한다.
또한, 본 발명의 실시예는 입체영상을 획득하는 두 개의 카메라 사이에 가상 중간 카메라를 설정하여, 상기 가상 중간 카메라를 기준으로 상기 자막평면을 조정하는 것을 목적으로 한다.
본 발명의 일실시예에 따른 입체영상 자막 생성 장치는, 제1 영상과 제2 영상 각각으로부터 제1 카메라 및 제2 카메라의 위치를 계산하는 카메라 위치 계산부, 상기 계산된 위치에서의, 상기 제1 카메라가 갖는 시야 방향과, 상기 제2 카메라가 갖는 시야 방향을 이용하여 자막평면을 배치하는 자막평면 배치부, 상기 자막평면으로 자막을 생성하는 자막 생성부를 포함한다.
또한, 본 발명의 일실시예에 따른 입체영상 자막 생성 방법은 제1 영상과 제2 영상 각각으로부터 제1 카메라 및 제2 카메라의 위치를 계산하는 단계, 상기 계산된 위치에서의, 상기 제1 카메라가 갖는 시야 방향과, 상기 제2 카메라가 갖는 시야 방향을 이용하여 자막평면을 배치하는 단계, 상기 자막평면으로 자막을 생성하는 단계를 포함한다.
본 발명의 실시예에 따르면, 위치가 결정된 자막을 투영한 자막평면을 카메라로 촬영함으로써, 입체영상을 구성하는 각 좌우영상에 자막을 빠르게 배치할 수 있다.
또한 본 발명의 실시예에 따르면, 두 개의 카메라를 기준으로 조정된 자막평면 배치의 시뮬레이션을 통해 입체영상에서의 자막의 깊이를 확인하여 변경할 수 있다.
도 1은 본 발명의 일실시예에 따른 입체영상 자막 생성 장치의 구성을 나타내는 도면이다.
도 2는 본 발명의 일실시예에 따른 카메라 위치 계산의 일례를 설명하기 위한 도면이다.
도 3은 본 발명의 일실시예에 따른 자막평면 배치를 예시하는 도면이다.
도 4는 본 발명의 일실시예에 따른 가상 중간 카메라를 예시하는 도면이다.
도 5는 본 발명의 일실시예에 따른 자막 생성의 일례를 설명하기 위한 도면이다.
도 6은 본 발명의 일실시예에 따른 입체영상 자막 생성 방법의 흐름을 나타내는 도면이다.
이하, 첨부된 도면들을 참조하여 본 발명의 일실시예에 따른 입체영상 자막 생성 장치 및 방법에 대해 상세히 설명한다. 그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일실시예에 따른 입체영상 자막 생성 장치의 구성을 나타내는 도면이다.
도 1을 참조하면 입체영상 자막 생성 장치(100)는 카메라 위치 계산부(110), 자막평면 배치부(120), 자막평면 위치 조정부(130), 자막 생성부(140)를 포함한다.
카메라 위치 계산부(120)는 제1 영상과 제2 영상 각각으로부터 제1 카메라 및 제2 카메라의 위치를 계산한다. 상기 제1 영상 및 상기 제2 영상은 서로 대응되는 2차원점을 포함하고, 서로 병합되어 입체영상이 구성될 수 있게 한다.
카메라 위치 계산부(120)는, 상기 제1 영상 및 상기 제2 영상에서 서로 대응하는 2차원점을 추출하고, 상기 2차원점을 이용한 보정 알고리즘을 통해 상기 제1 카메라 및 상기 제2 카메라의 위치를 계산한다. 상기 보정 알고리즘은 상기 2차원점으로부터 계산한 제1 카메라 및 제2 카메라의 간격과 교차점의 오차를 보정하기 위한 알고리즘을 의미할 수 있다. 상기 제1 영상 및 상기 제2 영상의 2차원점은 3차원 공간에서 상기 제1 카메라 및 상기 제2 카메라 앞에 존재하는 3차원점으로서 표현될 수 있다.
카메라 위치 계산부(120)는 상기 2차원점의 시차를 계산해서 상기 제1 카메라 및 상기 제2 카메라의 간격을 구할 수 있다.
또한, 카메라 위치 계산부(120)는 상기 제1 영상 및 상기 제2 영상의 초점을 찾아서 상기 제1 카메라 및 상기 제2 카메라의 시야 방향이 교차하는 교차점을 계산할 수 있다. 카메라 위치 계산부(120)는 상기 간격 및 교차점을 사용하여 상기 제1 카메라 및 상기 제2 카메라의 위치를 계산 함으로써, 상기 3차원점과 함께 상기 위치가 입체적으로 표시되도록 할 수 있다.
자막평면 배치부(120)는 상기 계산된 위치에서의, 상기 제1 카메라가 갖는 시야 방향과, 상기 제2 카메라가 갖는 시야 방향을 이용하여 자막평면을 배치한다. 상기 제1 카메라와 상기 제2 카메라는 수많은 3차원점을 응시하는 수많은 시야 방향을 포함할 수 있다. 상기 시야 방향 중에서 상기 제1 카메라 및 상기 제2 카메라가 정면으로 바라보는 시야 방향은 각각 초점으로 결정될 수 있다.
자막평면 배치부(120)는 상기 제1 카메라의 초점과 상기 제2 카메라의 초점이 만나는 지점을, 적어도 포함하여 상기 자막평면을 배치한다. 상기 자막평면은 자막이 포함된 영상을 투영할 수 있는 스크린을 의미할 수 있다. 자막평면 배치부(120)는 상기 자막평면의 가로, 세로 비율을 상기 제1 영상 및 상기 제2 영상과 동일하게 설정할 수 있다.
자막평면 배치부(120)는 상기 초점이 만나는 지점에서부터, 상기 제1 카메라의 위치와 상기 제2 카메라의 위치와의 중간 위치까지 연결한 가상선이, 상기 자막평면과 수직을 이루도록 상기 자막평면을 배치한다. 상기 제1 카메라 및 상기 제2 카메라의 위치는 렌즈의 중심을 의미할 수 있다.
자막평면 배치부(120)는 카메라 위치 계산부(120)를 통해 상기 렌즈의 중심을 기준으로 상기 제1 카메라의 위치 상기 제2 카메라의 위치의 중간 위치를 계산할 수 있다. 이후, 자막평면 배치부(120)는 상기 중간 위치부터 상기 초점이 만나는 지점까지 연결한 가상선이 상기 자막평면과 수직을 이루는지 확인한다.
자막평면 위치 조정부(130)는 제1 카메라 및 제2 카메라의 위치들로부터 가상 중간 카메라를 설정하고, 상기 가상 중간 카메라를 기준으로, 상기 자막평면의 위치를 조정한다. 상기 가상 중간 카메라는 상기 제1 카메라 및 상기 제2 카메라의 중간 위치에 설정되어 상기 자막평면을 정면에서 응시할 수 있다.
자막평면 위치 조정부(130)는 보간법에 의해, 상기 제1 카메라의 위치와 상기 제2 카메라의 위치 사이에 복수의 가상 카메라를 생성하고, 상기 생성된 가상 카메라들 중, 상기 가상평면의 중심을 직각으로 바라보는 가상 카메라를 상기 가상 중간 카메라로 설정한다. 상기 보간법은 상기 가상 중간 카메라의 위치가 정해지지 않았을 때, 상기 제1 카메라의 위치와 상기 제2 카메라 각각의 위치와 거리를 사용해서 계산하는 방법을 의미할 수 있다.
자막평면 위치 조정부(130)는 상기 자막평면의 위치가 선정된 조건을 만족하지 않는 경우, 상기 가상 중간 카메라가 갖는 시야 범위 이내에서 상기 자막평면의 배치 위치를 조정한다. 여기서, 선정된 조건은, 후술하는 자막 생성부(140)에 의해 자막평면에 생성되어진 자막의 품질이 한계 범위를 벗어나는 경우를 지칭할 수 있다. 예컨대, 최초 배치 위치에서의 자막평면에 생성된 자막이, 흐릿하거나, 초점이 맞지 않아 중첩되어 보이면, 자막평면 위치 조정부(130)는 상기 자막의 품질이 한계 범위를 벗어났다고 판단하고, 상기 자막평면의 배치 위치를 전후 또는 좌우를 조정할 수 있다.
자막평면 위치 조정부(130)는 상기 가상 중간 카메라의 초점과 상기 자막평면의 중심을 일치시키면서, 상기 가상 중간 카메라와 가까이 또는 멀리 조정할 수 있다.
자막평면 위치 조정부(130)는, 상기 자막평면의 배치 위치가 조정 됨에 따라, 상기 제1 카메라 및 상기 제2 카메라 중 적어도 하나에 의해 촬영된 영상을, 예컨대 디스플레이 수단(도시하지 않음)을 통해 보여줄 수 있다. 상기 영상을 확인한 사용자의 입력에 따라 자막평면 위치 조정부(130)는 상기 자막평면의 위치를 조정할 수 있다.
자막평면 위치 조정부(130)는 또한 상기 제1 영상과 상기 제2 영상을 합성하여 작성된 입체영상을, 예컨대 디스플레이 수단을 통해 보여줄 수 있다. 자막평면 위치 조정부(130)는 상기 입체영상 내 3차원점 중에서, 상기 자막평면보다 상기 가상 중간 카메라에 근접하는 3차원점을, 다른 3차원점과 다르게 표시한다. 예를 들어 자막평면 위치 조정부(130)는 상기 자막평면보다 상기 가상 중간 카메라에 근접하는 3차원점을 빨간색으로, 다른 3차원점을 파란색으로 표시할 수 있다.
자막 생성부(140)는 상기 자막평면으로 자막을 생성한다. 자막 생성부(140)는 사용자에 의해, 상기 자막이 표시되는 상기 제1 영상 내 제1 위치가 결정되는 경우, 상기 제1 위치를 상기 자막평면에 투영하여, 상기 자막평면 내 제2 위치를 연산하고, 상기 연산된 제2 위치를 상기 제2 영상에 재투영하여, 상기 제2 영상에서의 상기 자막이 표시되는 제3 위치를 결정한다.
도 2는 본 발명의 일실시예에 따른 카메라 위치 계산의 일례를 설명하기 위한 도면이다.
도 2를 참조하면 입체영상 자막 생성 장치는 제1 영상(210)과 제2 영상(220)으로부터 제1 카메라(230) 및 제2 카메라(240)의 위치를 계산한다. 제1 영상(210) 및 제2 영상(220)은 영상 길이에 따라 복수개의 프레임으로 구성될 수 있고, 서로 대응되는 2차원점을 포함하여, 입체영상을 구성할 수 있다.
입체영상 자막 생성 장치는 제1 영상(210)과 제2 영상(220)에서 서로 대응되는 2차원점의 시차를 계산할 수 있다. 상기 시차는, 제1 카메라(230) 및 제2 카메라(240)가 일렬로 나란히 배치되고 일정한 간격이 존재하는 경우에 생길 수 있다. 입체영상 자막 생성 장치는 제1 영상(2100과 제2 영상(220)을 융합하여, 상기 시차를 계산한 후, 제1 카메라(230) 및 제2 카메라(240)의 간격을 계산할 수 있다.
입체영상 자막 생성 장치는 제1 영상(210) 및 제2 영상(220)에서 상기 시차가 0인 지점을 구하여 제1 카메라(230) 초점과 제2 카메라(240)의 초점이 만나는 지점을 확인할 수 있다.
제1 카메라(230)와 제2 카메라(240)는 수많은 시야 방향으로 3차원점(250)을 바라볼 수 있다. 이 때, 제1 카메라(230)의 초점과 제2 카메라(240)의 초점은 서로 교차하면서 동일한 3차원점(250)을 주시할 수 있다. 이 때 제1 카메라(230)는 동일한 3차원점(250)의 왼쪽을 바라보고 제2 카메라(240)는 3차원점(250)의 오른쪽을 바라볼 수 있다. 입체영상 자막 생성 장치는 상기 초점이 만나는 교차점을 통해 3차원점(250)으로부터 제1 카메라(230) 및 제2 카메라(240)까지의 거리를 계산할 수 있다.
입체영상 자막 생성 장치는, 제1 영상(210) 및 제2 영상(220)에서 추출한 2차원점을 이용한 보정 알고리즘을 통해 제1 카메라(230) 및 제2 카메라(240)의 위치를 계산한다. 상기 보정 알고리즘은 상기 2차원점으로부터 계산한 제1 카메라(230) 및 제2 카메라(240)의 간격과 교차점의 오차를 보정하기 위한 알고리즘을 의미할 수 있다. 예를 들어 입체영상 자막 생성 장치는 제1 카메라(230) 및 제2 카메라(240)의 위치가 계산되면, 위치값을 설계된 방정식에 대입하여 역으로 상기 간격 및 상기 교차점을 도출하여 비교연산을 수행할 수 있다.
도 3은 본 발명의 일실시예에 따른 자막평면 배치를 예시하는 도면이다.
입체영상 자막 생성 장치는 제1 영상과 제2 영상 각각으로부터 제1 카메라(310) 및 제2 카메라(320)의 위치를 계산한 후, 자막평면(330)을 배치한다. 이 때 입체영상 자막 생성 장치는 제1 카메라(310)가 갖는 시야 방향과, 제2 카메라(320)가 갖는 시야 방향을 이용한다.
입체영상 자막 생성 장치는 제1 카메라(310)의 초점과 제2 카메라(320)의 초점이 만나는 지점(350)을, 적어도 포함하여 자막평면(330)을 배치한다. 상기 초점은 제1 카메라(310) 및 제2 카메라(320)의 시야 방향 중에서 렌즈의 중심이 바라보는 시야 방향을 의미할 수 있다. 제1 카메라(310)와 제2 카메라(320)가 나란히 배치될 때 렌즈부분으로 갈수록 간격이 좁아지게 되고, 이에 따라 상기 초점은 동일한 3차원점에서 교차할 수 있다.
입체영상 자막 생성 장치는 상기 3차원점에서 제1 카메라(310)의 초점과 제2 카메라(320)의 초점이 만나는 교차점(350)을, 적어도 포함하여 자막평면(330)을 배치한다. 제1 카메라(310) 및 제2 카메라(320)에 의해 입체영상이 생성되면, 자막평면(330) 앞에 존재하는 3차원점은 자막에 비해 돌출되고, 뒤에 존재하는 3차원점은 들어가는 것처럼 보임으로써 임체감이 형성될 수 있다.
입체영상 자막 생성 장치는 자막평면(330)의 크기를 설정할 수 있다. 입체영상 자막 생성 장치는 제1 카메라(310) 및 제2 카메라(320)의 화면 크기와 비례하게 자막평면(330)의 크기를 설정할 수 있다.
또한 입체영상 자막 생성 장치는 교차점(350)에서부터, 제1 카메라(310)의 위치와 제2 카메라(320)의 위치와의 중간 위치까지 연결한 가상선(340)이, 자막평면(330)과 수직을 이루도록 자막평면(330)을 배치한다.
도 4는 본 발명의 일실시예에 따른 가상 중간 카메라를 예시하는 도면이다.
도 4를 참조하면 입체영상 자막 생성 장치는 제1 카메라(410) 및 제2 카메라(420)의 위치들로부터 가상 중간 카메라(430)를 설정하고, 가상 중간 카메라(430)를 기준으로, 자막평면(440)의 위치를 조정한다.
입체영상 자막 생성 장치는 보간법에 의해, 제1 카메라(410)의 위치와 제2 카메라(420)의 위치 사이에 복수의 가상 카메라를 생성하고, 상기 생성된 가상 카메라들 중, 자막평면(440)을 직각으로 바라보는 가상 카메라를 가상 중간 카메라(430)로 설정한다. 상기 보간법은 상기 가상 중간 카메라의 위치가 정해지지 않았을 때, 상기 제1 카메라의 위치와 상기 제2 카메라 각각의 위치와 거리를 사용해서 계산하는 방법을 의미할 수 있다.
입체영상 자막 생성 장치는 입체영상의 교차점과 자막평면(440)의 중심을 일치시키기 위해 가상 중간 카메라(430)의 위치를 제1 카메라(410) 및 제2 카메라(420)의 중간 위치로 지정할 수 있다. 입체영상 자막 생성 장치는 가상 중간 카메라(430)의 위치를 변수로 설정할 수 있다. 예컨대, 제1 카메라(410)와 제2 카메라(420)의 거리가 6인 경우, 제1 카메라(410)의 위치에서 가상 중간 카메라(430)까지의 거리와 제2 카메라(420)의 위치에서 가상 중간 카메라(430)까지의 거리는 동일하게 3이 될 수 있다.
입체영상 자막 생성 장치는 제1 카메라(410)의 위치값과 제2 카메라(420)의 위치값에 상기 거리를 곱하여 가상 중간 카메라(430)의 위치를 계산할 수 있다.
자막평면(440)의 위치가 선정된 조건을 만족하지 않는 경우, 입체영상 자막 생성 장치는 가상 중간 카메라(430)가 갖는 시야 범위(450) 이내에서 자막평면(440)의 배치 위치를 조정한다.
입체영상 자막 생성 장치는 자막평면(440)의 크기가 가상 중간 카메라(430)의 시야 범위(450)를 벗어나지 않도록 유지하면서, 자막평면(440)을 가상 중간 카메라(430)와 가까이 또는 멀리 조정할 수 있다.
입체영상 자막 생성 장치는, 자막평면(440)의 배치 위치가, 가상 중간 카메라(430)로 조정 됨에 따라, 제1 카메라(410) 및 제2 카메라(420) 중 적어도 하나에 의해 촬영된 영상을 보여준다.
입체영상 자막 생성 장치는 또한 제1 영상과 제2 영상을 합성하여 작성된 입체영상을 보여준다. 입체영상 자막 생성 장치는 상기 입체영상 내 3차원점 중에서, 자막평면(440)보다 가상 중간 카메라(430)에 근접하는 3차원점을, 다른 3차원점과 다르게 표시한다. 예를 들어 입체영상 자막 생성 장치는 자막평면(440)보다 가상 중간 카메라(430)에 근접하는 3차원점을 빨간색으로, 다른 3차원점을 파란색으로 표시되도록 할 수 있다.
도 5는 본 발명의 일실시예에 따른 자막 생성의 일례를 설명하기 위한 도면이다.
도 5를 참조하면 입체영상 자막 생성 장치는 제1 카메라 및 제2 카메라의 전방에 자막평면(530)의 위치가 지정되고 자막평면(530)이 배치됨에 따라 자막을 생성한다.
먼저, 입체영상 자막 생성 장치는 제1 카메라로부터 획득한 제1 영상(510)에서 자막이 표시되는 영역의 제1 위치(520)를 결정한다.
입체영상 자막 생성 장치는 사용자에 의해 제1 위치(520)가 결정되는 경우 제1 영상(510)에 직사각형 영역으로서 표시할 수 있고, 제1 위치(520)는 좌측상단 위치와 우측하단 위치를 포함할 수 있다.
입체영상 자막 생성 장치는 결정된 제1 위치(520)를 자막평면(530)에 투영하여, 제2 위치(540)를 연산한다. 입체영상 자막 생성 장치는 제1 영상(510)의 좌측상단 위치를 0으로 하여 제1 위치(520)의 좌측상단 위치 및 우측하단 위치를 계산할 수 있다. 예를 들어 제1 영상(510)의 세로 길이가 100, 가로 길이가 120인 경우, 입체영상 자막 생성 장치는 제1 위치(520)의 좌측상단의 위치를 (20, 60), 또한 우측하단의 위치를 (100, 90)의 좌표값으로 표현할 수 있다. 입체영상 자막 생성 장치는 상기 좌표값이 계산되면 제1 영상(510) 및 자막평면(530)의 크기 비율에 따라 제2 위치(540)의 좌측상단 위치와 우측하단 위치를 계산할 수 있다.
입체영상 자막 생성 장치는 제2 위치(540)가 지정되면 제2 카메라(550)를 통해 자막평면(530)을 촬영함으로써, 제2 위치(540)를 제2 영상(560)에 재투영한다. 자막평면(530)과 화면크기 비율이 동일한 제2 영상(560)에서는 제3 위치(570)가 자동으로 지정될 수 있다.
도 6은 본 발명의 일실시예에 따른 입체영상 자막 생성 방법의 흐름을 나타내는 도면이다.
도 6을 참조하면 입체영상 자막 생성 장치는 제1 영상과 제2 영상 각각으로부터 제1 카메라 및 제2 카메라의 위치를 계산한다(610). 입체영상 자막 생성 장치는, 상기 제1 영상 및 상기 제2 영상에서 서로 대응하는 2차원점을 추출하고, 상기 2차원점을 이용한 보정 알고리즘을 통해 상기 제1 카메라 및 상기 제2 카메라의 위치를 계산한다. 상기 보정 알고리즘은 상기 2차원점으로부터 계산한 제1 카메라 및 제2 카메라의 간격과 교차점의 오차를 보정하기 위한 알고리즘을 의미할 수 있다.
입체영상 자막 생성 장치는 상기 2차원점의 시차를 계산해서 상기 제1 카메라 및 상기 제2 카메라의 간격을 구하고, 상기 제1 카메라 및 상기 제2 카메라의 초점이 만나는 교차점을 계산할 수 있다. 입체영상 자막 생성 장치는 상기 간격 및 교차점을 사용하여 상기 제1 카메라 및 상기 제2 카메라의 위치를 계산한다.
입체영상 자막 생성 장치는 상기 계산된 위치에서의, 상기 제1 카메라가 갖는 시야 방향과, 상기 제2 카메라가 갖는 시야 방향을 이용하여 자막평면을 배치한다(620). 이때 입체영상 자막 생성 장치는 상기 제1 카메라의 초점과 상기 제2 카메라의 초점이 만나는 지점을, 적어도 포함하여 상기 자막평면을 배치한다. 또한 입체영상 자막 생성 장치는 상기 초점이 만나는 지점에서부터, 상기 제1 카메라의 위치와 상기 제2 카메라의 위치와의 중간 위치까지 연결한 가상선이, 상기 자막평면과 수직을 이루도록 상기 자막평면을 배치한다. 상기 제1 카메라 및 상기 제2 카메라의 위치는 렌즈의 중심을 의미할 수 있다.
다음으로 입체영상 자막 생성 장치는 제1 카메라 및 제2 카메라의 위치들로부터 가상 중간 카메라를 설정한다. 입체영상 자막 생성 장치는 보간법에 의해, 상기 제1 카메라의 위치와 상기 제2 카메라의 위치 사이에 복수의 가상 카메라를 생성하고, 상기 생성된 가상 카메라들 중, 상기 가상평면의 중심을 직각으로 바라보는 가상 카메라를 상기 가상 중간 카메라로 설정한다.
이후 입체영상 자막 생성 장치는 상기 가상 중간 카메라를 기준으로, 상기 자막평면의 위치를 조정한다(640). 상기 보간법은 상기 가상 중간 카메라의 위치가 정해지지 않았을 때, 상기 제1 카메라의 위치와 상기 제2 카메라 각각의 위치와 거리를 사용해서 계산하는 방법을 의미할 수 있다. 입체영상 자막 생성 장치는 상기 자막평면의 배치 위치가 조정 됨에 따라, 상기 제1 카메라 및 상기 제2 카메라 중 적어도 하나에 의해 촬영된 영상을 보여준다. 입체영상 자막 생성 장치는 또한 상기 제1 영상과 상기 제2 영상을 합성하여 작성된 입체영상을 보여준다. 상기 입체영상 내 3차원점 중에서, 상기 자막평면보다 상기 가상 중간 카메라에 근접하는 3차원점을, 다른 3차원점과 다르게 표시한다.
입체영상 자막 생성 장치는 상기 자막평면의 위치가 선정된 조건을 만족하는지 판단한다(650). 상기 선정된 조건을 만족하지 않는 경우(단계(650)의 '아니오' 방향), 입체영상 자막 생성 장치는 상기 가상 중간 카메라가 갖는 시야 범위 이내에서 상기 자막평면의 배치 위치를 다시 조정한다(640). 입체영상 자막 생성 장치는 상기 가상 중간 카메라의 초점과 상기 자막평면의 중심을 일치시키면서, 상기 가상 중간 카메라와 가까이 또는 멀리 조정할 수 있다.
상기 자막평면이 상기 선정된 조건을 만족하는 경우(단계(650)의 '예' 방향), 입체영상 자막 생성 장치는, 상기 자막평면으로 자막을 생성한다(660). 입체영상 자막 생성 장치는 사용자에 의해, 상기 자막이 표시되는 상기 제1 영상 내 제1 위치가 결정되는 경우, 상기 제1 위치를 상기 자막평면에 투영하여, 상기 자막평면 내 제2 위치를 연산하고, 상기 연산된 제2 위치를 상기 제2 영상에 재투영하여, 상기 제2 영상에서의 상기 자막이 표시되는 제3 위치를 결정한다.
본 발명의 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
110: 카메라 위치 계산부 120: 자막평면 배치부
130: 자막평면 위치 조정부 140: 자막 생성부

Claims (20)

  1. 제1 영상과 제2 영상 각각으로부터 제1 카메라 및 제2 카메라의 위치를 계산하는 카메라 위치 계산부;
    상기 계산된 위치에서의, 상기 제1 카메라가 갖는 시야 방향과, 상기 제2 카메라가 갖는 시야 방향을 이용하여 자막평면을 배치하는 자막평면 배치부; 및
    상기 자막평면으로 자막을 생성하는 자막 생성부
    를 포함하는 입체영상 자막 생성 장치.
  2. 제1항에 있어서,
    상기 자막평면 배치부는,
    상기 제1 카메라의 초점과 상기 제2 카메라의 초점이 만나는 지점을, 적어도 포함하여 상기 자막평면을 배치하는
    입체영상 자막 생성 장치.
  3. 제2항에 있어서
    상기 자막평면 배치부는,
    상기 지점에서부터, 상기 제1 카메라의 위치와 상기 제2 카메라의 위치와의 중간 위치까지 연결한 가상선이, 상기 자막평면과 수직을 이루도록 상기 자막평면을 배치하는
    입체영상 자막 생성 장치.
  4. 제1항에 있어서,
    상기 계산된 위치들로부터 가상 중간 카메라를 설정하고, 상기 가상 중간 카메라를 기준으로, 상기 자막평면의 배치 위치를 조정하는 자막평면 위치 조정부
    를 더 포함하는 입체영상 자막 생성 장치.
  5. 제4항에 있어서
    상기 자막평면 위치 조정부는,
    보간법에 의해, 상기 제1 카메라의 위치와 상기 제2 카메라의 위치 사이에 복수의 가상 카메라를 생성하고, 상기 생성된 가상 카메라들 중, 상기 가상평면의 중심을 직각으로 바라보는 가상 카메라를 상기 가상 중간 카메라로 설정하는
    입체영상 자막 생성 장치.
  6. 제4항에 있어서,
    상기 자막평면 위치 조정부는,
    상기 자막평면의 배치 위치가 선정된 조건을 만족하지 않는 경우, 상기 가상 중간 카메라가 갖는 시야 범위 이내에서 상기 자막평면의 배치 위치를 조정하는
    입체영상 자막 생성 장치.
  7. 제4항에 있어서,
    상기 자막평면 위치 조정부는,
    상기 제1 영상과 상기 제2 영상을 합성하여 작성된 입체영상 내 3차원점 중에서, 상기 자막평면보다 상기 가상 중간 카메라에 근접하는 3차원점을, 다른 3차원점과 다르게 표시하는
    입체영상 자막 생성 장치.
  8. 제4항에 있어서,
    상기 자막평면 위치 조정부는,
    상기 자막평면의 배치 위치가 조정 됨에 따라, 상기 제1 카메라 및 상기 제2 카메라 중 적어도 하나에 의해 촬영된 영상을 보여주는
    입체영상 자막 생성 장치.
  9. 제1항에 있어서,
    사용자에 의해, 상기 자막이 표시되는 상기 제1 영상 내 제1 위치가 결정되는 경우,
    상기 자막 생성부는,
    상기 제1 위치를 상기 자막평면에 투영하여, 상기 자막평면 내 제2 위치를 연산하고, 상기 연산된 제2 위치를 상기 제2 영상에 재투영하여, 상기 제2 영상에서의 상기 자막이 표시되는 제3 위치를 결정하는
    입체영상 자막 생성 장치.
  10. 제1항에 있어서,
    상기 카메라 위치 계산부는,
    상기 제1 영상 및 상기 제2 영상에서 서로 대응하는 2차원점을 추출하고, 상기 2차원점을 이용한 보정 알고리즘을 통해 상기 제1 카메라 및 상기 제2 카메라의 위치를 계산하는
    입체영상 자막 생성 장치.
  11. 제1 영상과 제2 영상 각각으로부터 제1 카메라 및 제2 카메라의 위치를 계산하는 단계;
    상기 계산된 위치에서의, 상기 제1 카메라가 갖는 시야 방향과, 상기 제2 카메라가 갖는 시야 방향을 이용하여 자막평면을 배치하는 단계; 및
    상기 자막평면으로 자막을 생성하는 단계
    를 포함하는 입체영상 자막 생성 방법.
  12. 제11항에 있어서,
    상기 자막평면을 배치하는 단계는,
    상기 제1 카메라의 초점과 상기 제2 카메라의 초점이 만나는 지점을, 적어도 포함하여 상기 자막평면을 배치하는 단계
    를 포함하는 입체영상 자막 생성 방법.
  13. 제12항에 있어서
    상기 자막평면을 배치하는 단계는,
    상기 지점에서부터, 상기 제1 카메라의 위치와 상기 제2 카메라의 위치와의 중간 위치까지 연결한 가상선이, 상기 자막평면과 수직을 이루도록 상기 자막평면을 배치하는 단계
    를 더 포함하는 입체영상 자막 생성 방법.
  14. 제11항에 있어서,
    상기 계산된 위치들로부터 가상 중간 카메라를 설정하는 단계; 및
    상기 가상 중간 카메라를 기준으로, 상기 자막평면의 배치 위치를 조정하는 단계
    를 더 포함하는 입체영상 자막 생성 방법.
  15. 제14항에 있어서
    상기 가상 중간 카메라를 설정하는 단계는,
    보간법에 의해, 상기 제1 카메라의 위치와 상기 제2 카메라의 위치 사이에 복수의 가상 카메라를 생성하는 단계; 및
    상기 생성된 가상 카메라들 중, 상기 가상평면의 중심을 직각으로 바라보는 가상 카메라를 상기 가상 중간 카메라로 설정하는 단계
    를 포함하는 입체영상 자막 생성 방법.
  16. 제14항에 있어서,
    상기 자막평면의 배치 위치를 조정하는 단계는,
    상기 자막평면의 배치 위치가 선정된 조건을 만족하지 않는 경우, 상기 가상 중간 카메라가 갖는 시야 범위 이내에서 상기 자막평면의 배치 위치를 조정하는 단계
    를 포함하는 입체영상 자막 생성 방법.
  17. 제14항에 있어서,
    상기 제1 영상과 상기 제2 영상을 합성하여 작성된 입체영상 내 3차원점 중에서, 상기 자막평면보다 상기 가상 중간 카메라에 근접하는 3차원점을, 다른 3차원점과 다르게 표시하는 단계
    를 더 포함하는 입체영상 자막 생성 방법.
  18. 제14항에 있어서,
    상기 자막평면의 배치 위치가 조정 됨에 따라, 상기 제1 카메라 및 상기 제2 카메라 중 적어도 하나에 의해 촬영된 영상을 보여주는 단계
    를 더 포함하는 입체영상 자막 생성 방법.
  19. 제11항에 있어서,
    사용자에 의해, 상기 자막이 표시되는 상기 제1 영상 내 제1 위치가 결정되는 경우,
    상기 자막을 생성하는 단계는,
    상기 제1 위치를 상기 자막평면에 투영하여, 상기 자막평면 내 제2 위치를 연산하는 단계; 및
    상기 연산된 제2 위치를 상기 제2 영상에 재투영하여, 상기 제2 영상에서의 상기 자막이 표시되는 제3 위치를 결정하는 단계
    를 포함하는 입체영상 자막 생성 방법.
  20. 제11항에 있어서,
    상기 제1 카메라 및 제2 카메라의 위치를 계산하는 단계는,
    상기 제1 영상 및 상기 제2 영상에서 서로 대응하는 2차원점을 추출하고, 상기 2차원점을 이용한 보정 알고리즘을 통해 상기 제1 카메라 및 상기 제2 카메라의 위치를 계산하는 단계
    를 포함하는 입체영상 자막 생성 방법.
KR1020130035313A 2013-04-01 2013-04-01 3차원공간의 분석을 통한 입체영상 자막 생성 장치 및 방법 KR20140120000A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130035313A KR20140120000A (ko) 2013-04-01 2013-04-01 3차원공간의 분석을 통한 입체영상 자막 생성 장치 및 방법
US14/161,932 US20140293019A1 (en) 2013-04-01 2014-01-23 Apparatus and method for producing stereoscopic subtitles by analyzing three-dimensional (3d) space

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130035313A KR20140120000A (ko) 2013-04-01 2013-04-01 3차원공간의 분석을 통한 입체영상 자막 생성 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20140120000A true KR20140120000A (ko) 2014-10-13

Family

ID=51620455

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130035313A KR20140120000A (ko) 2013-04-01 2013-04-01 3차원공간의 분석을 통한 입체영상 자막 생성 장치 및 방법

Country Status (2)

Country Link
US (1) US20140293019A1 (ko)
KR (1) KR20140120000A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180046003A (ko) * 2016-10-27 2018-05-08 주식회사 퍼즐스페이스 가상현실을 이용한 게임 서비스 제공 시스템

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104333702A (zh) * 2014-11-28 2015-02-04 广东欧珀移动通信有限公司 一种自动对焦的方法、装置及终端
WO2017102428A1 (en) * 2015-12-18 2017-06-22 Asml Netherlands B.V. Focus monitoring arrangement and inspection apparatus including such an arrangement

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6046778A (en) * 1997-10-29 2000-04-04 Matsushita Electric Industrial Co., Ltd. Apparatus for generating sub-picture units for subtitles and storage medium storing sub-picture unit generation program
US8301013B2 (en) * 2008-11-18 2012-10-30 Panasonic Corporation Reproduction device, reproduction method, and program for stereoscopic reproduction
CN102293004B (zh) * 2009-01-22 2014-05-07 日本电气株式会社 三维影像鉴赏***、显示***、光学快门，和三维影像鉴赏方法
CN102726051B (zh) * 2009-09-11 2016-02-03 迪斯尼实业公司 3d视频中的虚拟插件
JP5372687B2 (ja) * 2009-09-30 2013-12-18 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
KR101171660B1 (ko) * 2010-03-01 2012-08-09 이문기 증강현실의 포인팅 장치
CN102934451B (zh) * 2010-03-31 2016-10-05 汤姆森特许公司 三维视差图
WO2011121117A1 (en) * 2010-04-02 2011-10-06 Imec Virtual camera system
CN105120370A (zh) * 2010-12-03 2015-12-02 Lg电子株式会社 3d广播接收器和用于接收3d广播信号的方法
US20140240472A1 (en) * 2011-10-11 2014-08-28 Panasonic Corporation 3d subtitle process device and 3d subtitle process method
US9118911B2 (en) * 2013-02-07 2015-08-25 Delphi Technologies, Inc. Variable disparity three-dimensional (3D) display system and method of operating the same

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180046003A (ko) * 2016-10-27 2018-05-08 주식회사 퍼즐스페이스 가상현실을 이용한 게임 서비스 제공 시스템

Also Published As

Publication number Publication date
US20140293019A1 (en) 2014-10-02

Similar Documents

Publication Publication Date Title
US20230291884A1 (en) Methods for controlling scene, camera and viewing parameters for altering perception of 3d imagery
KR101944911B1 (ko) 영상 처리 방법 및 영상 처리 장치
CN110915206B (zh) 用于产生虚拟三维图像的***和方法
JP5291755B2 (ja) 立体視画像生成方法および立体視画像生成システム
US9582918B2 (en) Techniques for producing creative stereo parameters for stereoscopic computer animation
TWI547901B (zh) 模擬立體圖像顯示方法及顯示設備
KR101697181B1 (ko) 사용자의 시선 추적을 이용한 영상 처리 장치 및 방법
US9602801B2 (en) Method for smoothing transitions between scenes of a stereo film and controlling or regulating a plurality of 3D cameras
JP2013521686A (ja) ３ｄｔｖのための視差分布推定
KR20130091245A (ko) 3차원(3d) 표시에 있어서 플로팅 윈도우를 사용하는 방법과 시스템
JP2018500690A (ja) 拡大３ｄ画像を生成するための方法およびシステム
KR20140120000A (ko) 3차원공간의 분석을 통한 입체영상 자막 생성 장치 및 방법
TWI486052B (zh) 立體影像處理裝置以及立體影像處理方法
JP5311526B1 (ja) ３ｄ立体視画像作成方法、３ｄ立体視画像作成システム及び３ｄ立体視画像作成プログラム
JP6685241B2 (ja) 立体視ビデオ生成
JP6490107B2 (ja) 立体視ビデオズーミング
KR20130005148A (ko) 입체감 조절 장치 및 입체감 조절 방법
US20180158229A1 (en) System, Method and Software for Converting Images Captured by a Light Field Camera into Three-Dimensional Images that Appear to Extend Vertically Above or in Front of a Display Medium
JP2017525198A (ja) 立体視深度調節及び焦点調節
NZ757902B2 (en) System, method and software for producing virtual three dimensional images that appear to project forward of or above an electronic display
WO2018187724A1 (en) System, method and software for converting images captured by a light field camera into three-dimensional images that appear to extend vertically above or in front of a display medium
OA19355A (en) System, method and software for producing virtual three dimensional images that appear to project forward of or above an electronic display
WO2013186881A1 (ja) 立体視画像生成方法および立体視画像生成システム
JP2014078861A (ja) 表示制御装置

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid