KR20220129201A - 다중 카메라 기반 입체영상 콘텐츠 제작을 위한 유효 촬영 공간 가시화 방법 및 장치 - Google Patents

다중 카메라 기반 입체영상 콘텐츠 제작을 위한 유효 촬영 공간 가시화 방법 및 장치 Download PDF

Info

Publication number
KR20220129201A
KR20220129201A KR1020210033770A KR20210033770A KR20220129201A KR 20220129201 A KR20220129201 A KR 20220129201A KR 1020210033770 A KR1020210033770 A KR 1020210033770A KR 20210033770 A KR20210033770 A KR 20210033770A KR 20220129201 A KR20220129201 A KR 20220129201A
Authority
KR
South Korea
Prior art keywords
space
cameras
overlapping space
common overlapping
calculating
Prior art date
Application number
KR1020210033770A
Other languages
English (en)
Inventor
김도형
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020210033770A priority Critical patent/KR20220129201A/ko
Publication of KR20220129201A publication Critical patent/KR20220129201A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Input (AREA)

Abstract

다중 카메라 기반 입체영상 콘텐츠 제작을 위한 유효 촬영 공간 가시화 장치가 제공된다. 이 장치는 촬영 공간에 설치된 복수의 카메라 중에서 설정 개수 이상의 카메라에 의해 공통적으로 촬영되는 공통 중첩 공간을 계산하고, 상기 공통 중첩 공간의 3차원 공간 좌표를 계산하는 중첩 공간 계산부, 상기 공통 중첩 공간의 3차원 공간 좌표를 저장하는 중첩 공간 데이터베이스, 그리고 상기 공통 중첩 공간을 가시화하는 가시화부를 포함한다.

Description

다중 카메라 기반 입체영상 콘텐츠 제작을 위한 유효 촬영 공간 가시화 방법 및 장치{METHOD AND APPARATUS FOR VISUALIZING EFFECTIVE CAPTURE VOLUME SPACE FOR THREE DIMENSIONAL CONTENTS PRODUCTION BASED ON MULTI-CAMERA}
본 발명은 다중 카메라 기반 입체영상 콘텐츠 제작을 위한 유효 촬영 공간 가시화 방법 및 장치에 관한 것으로, 보다 상세하게는 다중 카메라 기반으로 실사의 입체영상 콘텐츠를 제작하기 위하여 유효한 촬영 공간을 표시하기 위한 다중 카메라 기반 입체영상 콘텐츠 제작을 위한 유효 촬영 공간 가시화 방법 및 장치에 관한 것이다.
다중 카메라 기반으로 실사의 입체영상 콘텐츠를 제작하기 위해서는 2대 이상의 카메라가 동시에 피사체를 촬영할 수 있어야 한다.
일반적으로, 유효 촬영 공간을 확인하기 위해서는 다중 카메라들로부터 입력되는 영상을 모두 모니터에 표시하여, 사전 연습을 통하여, 요구되는 2대 이상의 카메라에서 촬영이 되고 있는지 반복적으로 확인하는 방법이 사용된다. 이 과정은 촬영 감독 등 사람에 의해서 수행되며 많은 모니터를 지속적으로 지켜보아야 하므로 많은 시간을 소요하고 오류의 가능성을 포함하고 있다.
본 발명이 해결하려는 과제는 다중 카메라 기반으로 실사의 입체영상 콘텐츠를 제작하기 위한 유효 촬영 공간을 용이하게 확인할 수 있도록 하는 다중 카메라 기반 입체영상 콘텐츠 제작을 위한 유효 촬영 공간 가시화 방법 및 장치를 제공하는 것이다.
본 발명의 한 실시 예에 따르면, 다중 카메라 기반 입체영상 콘텐츠 제작을 위한 유효 촬영 공간 가시화 장치가 제공된다. 유효 촬영 공간 가시화 장치는 촬영 공간에 설치된 복수의 카메라 중에서 설정 개수 이상의 카메라에 의해 공통적으로 촬영되는 공통 중첩 공간을 계산하고, 상기 공통 중첩 공간의 3차원 공간 좌표를 계산하는 중첩 공간 계산부, 상기 공통 중첩 공간의 3차원 공간 좌표를 저장하는 중첩 공간 데이터베이스, 그리고 상기 공통 중첩 공간을 가시화하는 가시화부를 포함한다.
상기 중첩 공간 계산부는 상기 복수의 카메라로부터 상기 촬영 공간에서 연속적으로 이동하는 마커를 촬영한 복수의 영상을 수신하고, 설정 개수 이상의 영상에서 마커가 동시에 검출될 때 상기 마커가 상기 공통 중첩 공간에 있는 것으로 판단하고, 상기 마커의 3차원 공간 위치를 계산할 수 있다.
상기 중첩 공간 계산부는 상기 마커가 검출된 영상에서 상기 마커의 2차원 위치 좌표를 계산하고, 상기 마커의 2차원 위치 좌표를 해당 카메라의 외부 파라미터를 이용하여 상기 마커의 3차원 공간 좌표로 변환할 수 있다.
상기 중첩 공간 계산부는 상기 복수의 카메라의 깊이 값을 상기 복수의 카메라의 유효 촬영 공간을 생성하고, 상기 복수의 카메라의 유효 촬영 공간들로부터 상기 공통 중첩 공간을 계산할 수 있다.
상기 중첩 공간 계산부는 상기 복수의 카메라로부터 촬영되는 영상간 변이를 이용하여 상기 복수의 카메라의 깊이 값을 각각 계산할 수 있다.
상기 중첩 공간 계산부는 상기 복수의 카메라로부터 상기 깊이 값을 수신할 수 있다.
상기 가시화부는 가상현실 또는 증강현실용 디바이스를 이용하여 상기 공통 중첩 공간을 가시화할 수 있다.
상기 가시화부는 프로젝션 기반으로 상기 공통 중첩 공간을 가시화할 수 있다.
본 발명의 다른 한 실시 예에 따르면, 다중 카메라 기반 입체영상 콘텐츠 제작을 위한 유효 촬영 공간 가시화 장치에서 유효 촬영 공간을 가시화하는 방법이 제공된다. 유효 촬영 공간 가시화 방법은 촬영 공간에 설치된 복수의 카메라 중에서 설정 개수 이상의 카메라에 의해 공통적으로 촬영되는 공통 중첩 공간을 계산하는 단계, 상기 공통 중첩 공간의 3차원 공간 좌표를 계산하여 중첩 공간 데이터베이스에 저장하는 단계, 그리고 상기 중첩 공간 데이터베이스에 저장된 상기 공통 중첩 공간을 가시화하는 단계를 포함한다.
상기 공통 중첩 공간을 계산하는 단계는 상기 복수의 카메라로부터 상기 촬영 공간에서 연속적으로 이동하는 마커를 촬영한 복수의 영상을 각각 설정된 시간 동안 수신하는 단계, 설정 개수 이상의 영상에서 마커가 동시에 검출될 때 상기 마커의 3차원 공간 위치를 계산하는 단계, 그리고 상기 설정된 시간 동안 수신되는 복수의 영상으로부터 계산되는 상기 마커의 3차원 공간 위치로부터 상기 공통 중첩 공간을 생성하는 단계를 포함할 수 있다.
상기 공통 중첩 공간을 계산하는 단계는 상기 복수의 카메라로부터 획득되는 깊이 값을 이용하여 상기 복수의 카메라의 포즈 정보를 계산하는 단계, 상기 복수의 카메라의 포즈 정보를 이용하여 상기 복수의 카메라의 유효 촬영 공간을 생성하는 단계, 그리고 상기 복수의 카메라의 유효 촬영 공간들로부터 상기 공통 중첩 공간을 생성하는 단계를 포함할 수 있다.
상기 공통 중첩 공간을 계산하는 단계는 상기 복수의 카메라로부터 촬영되는 영상간 변이를 이용하여 상기 복수의 카메라의 깊이 값을 계산하는 단계, 상기 복수의 카메라의 깊이 값을 이용하여 상기 복수의 카메라의 포즈 정보를 계산하는 단계, 상기 복수의 카메라의 포즈 정보를 이용하여 상기 복수의 카메라의 유효 촬영 공간을 생성하는 단계, 그리고 상기 복수의 카메라의 유효 촬영 공간들로부터 상기 공통 중첩 공간을 생성하는 단계를 포함할 수 있다.
상기 가시화하는 단계는 가상현실 또는 증강현실용 디바이스를 이용하여 상기 공통 중첩 공간을 표시하는 단계를 포함할 수 있다.
상기 가시화하는 단계는 프로젝션 기반으로 상기 공통 중첩 공간을 가시화하는 단계를 포함할 수 있다.
상기 가시화하는 단계는 프로젝터를 이용하여 상기 촬영 공간을 이동하는 피사체로 임의의 패턴을 투사하는 단계, 상기 프로젝터로부터 패턴이 투사된 피사체를 촬영한 영상으로부터 상기 피사체의 3차원 공간 좌표를 계산하는 단계, 그리고 상기 피사체의 3차원 공간 좌표가 상기 중첩 공간 데이터베이스에 저장된 상기 공통 중첩 공간 내에 존재하는 경우, 상기 프로젝터로 상기 피사체의 표면에 상기 3차원 공간 좌표를 표시하는 단계를 포함할 수 있다.
상기 가시화하는 단계는 프로젝터를 이용하여 상기 촬영 공간을 이동하는 피사체로 임의의 패턴을 투사하는 단계, 깊이 센서를 이용하여 상기 피사체의 깊이 값을 획득하는 단계, 상기 깊이 값을 토대로 상기 피사체의 3차원 공간 좌표를 계산하는 단계, 그리고 상기 피사체의 3차원 공간 좌표가 상기 중첩 공간 데이터베이스에 저장된 상기 공통 중첩 공간 내에 존재하는 경우, 상기 프로젝터로 상기 피사체의 표면에 상기 3차원 공간 좌표를 표시하는 단계를 포함할 수 있다.
본 발명의 실시 예에 의하면, 두 대 이상의 카메라에서 동시에 촬영 가능한 영상을 촬영 공간에 투사하여, 촬영 대상의 구도 및 동선을 확인함으로써, 입체영상 콘텐츠 제작 비용을 절감할 수 있다.
도 1은 본 발명의 한 실시 예에 따른 다중 카메라 기반 입체영상 콘텐츠 제작을 위한 유효 촬영 공간 가시화 장치를 개략적으로 나타낸 도면이다.
도 2는 도 1에 도시된 중첩 공간 계산부의 공통 중첩 공간을 계산하는 방법의 일 예를 나타낸 도면이다.
도 3은 도 1에 도시된 중첩 공간 계산부의 공통 중첩 공간을 계산하는 방법의 다른 예를 나타낸 도면이다.
도 4는 본 발명의 실시 예에 따른 공통 중첩 공간을 설명하는 도면이다.
도 5는 도 1에 도시된 중첩 공간 계산부의 공통 중첩 공간을 계산하는 방법의 또 다른 예를 나타낸 도면이다.
도 6은 도 1에 도시된 가시화부에서 공통 중첩 공간을 가시화하는 방법의 일 예를 나타낸 도면이다.
도 7은 도 1에 도시된 가시화부에서 공통 중첩 공간을 가시화하는 방법의 다른 예를 나타낸 도면이다.
도 8은 도 7의 가시화 방법을 구현하기 위한 가시화부의 구성을 나타낸 도면이다.
도 9는 도 1에 도시된 가시화부에서 공통 중첩 공간을 가시화하는 방법의 또 다른 예를 나타낸 도면이다.
도 10은 도 9의 가시화 방법을 구현하기 위한 가시화부의 구성을 나타낸 도면이다.
도 11은 본 발명의 다른 실시 예에 따른 다중 카메라 기반 입체영상 콘텐츠 제작을 위한 촬영 공간 가시화 장치를 개략적으로 나타낸 도면이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
이제 본 발명의 실시 예에 따른 다중 카메라 기반 입체영상 콘텐츠 제작을 위한 유효 촬영 공간 가시화 방법 및 장치에 대하여 도면을 참고로 하여 상세하게 설명한다.
도 1은 본 발명의 한 실시 예에 따른 다중 카메라 기반 입체영상 콘텐츠 제작을 위한 유효 촬영 공간 가시화 장치를 개략적으로 나타낸 도면이다.
도 1을 참고하면, 다중 카메라 기반 입체영상 콘텐츠 제작을 위한 유효 촬영 공간 가시화 장치(100)는 중첩 공간 계산부(110), 중첩 공간 데이터베이스(120) 및 가시화부(130)를 포함한다.
중첩 공간 계산부(110)는 촬영 공간에 설치된 복수의 카메라 중에서 설정 개수 이상의 카메라에 의해 공통적으로 촬영되는 공통 중첩 공간을 계산한다. 공통 중첩 공간은 입체영상 콘텐츠 제작을 위한 유효 촬영 공간이 된다. 중첩 공간 계산부(110)는 계산된 공통 중첩 공간의 위치 데이터를 중첩 공간 데이터베이스(120)에 저장한다. 이때 촬영 공간에 설치된 복수의 카메라는 플렌옵틱 카메라를 포함할 수 있다.
가시화부(130)는 중첩 공간 데이터베이스(120)에 저장된 공통 중첩 공간의 위치 데이터를 이용하여 공통 중첩 공간을 가시화한다. 가시화부(130)는 가상현실(Virtual Reality, VR) 또는 증강현실(Augmented Reality, AR)을 위한 디바이스 기반 가시화 방식이나 프로젝션 기반 가시화 방식을 이용할 수 있다. VR 또는 AR을 위한 디바이스는 예를 들면, 헤드 마운티드 디스플레이(Head Mounted Display, HMD) 등을 포함할 수 있다.
도 2는 도 1에 도시된 중첩 공간 계산부의 공통 중첩 공간을 계산하는 방법의 일 예를 나타낸 도면이다.
도 2를 참고하면, 촬영 공간에 설치된 복수의 카메라는 촬영 공간 전체에서 이동되는 마커를 설정된 시간 동안 촬영한다.
중첩 공간 계산부(110)는 설정된 시간 동안 복수의 카메라로부터 각각 촬영된 복수의 영상을 수신한다(S210).
중첩 공간 계산부(110)는 복수의 카메라로부터 촬영된 복수의 영상 중에서 마커가 동시에 검출된 영상이 설정된 개수 이상이 되면(S220), 마커가 동시에 검출된 각 카메라의 영상 내 마커의 2차원 위치 좌표를 계산한다(S230).
중첩 공간 계산부(110)는 각 카메라의 영상 내 마커의 2차원 위치 좌표로부터 해당 마커의 3차원 공간 좌표를 계산한다(S240). 중첩 공간 계산부(110)는 각 카메라의 외부 파라미터를 이용하여 영상 내 마커의 위치 좌표를 3차원 공간 좌표로 변환시킬 수 있다.
중첩 공간 계산부(110)는 계산된 3차원 공간 좌표를 중첩 공간 데이터베이스(120)에 저장한다(S250).
중첩 공간 계산부(110)는 설정된 시간 동안 복수의 카메라로부터 각각 촬영된 복수의 영상에 대해 단계를 반복한다. 이러한 과정을 통해 계산된 3차원 공간 좌표의 집합은 공통 중첩 공간을 형성한다.
도 3은 도 1에 도시된 중첩 공간 계산부의 공통 중첩 공간을 계산하는 방법의 다른 예를 나타낸 도면이고, 도 4는 본 발명의 실시 예에 따른 공통 중첩 공간을 설명하는 도면이다.
도 3에 도시된 방법은 촬영 공간에 설치된 복수의 카메라가 깊이를 측정할 수 있는 경우에 해당된다. 이때 카메라 자체에 깊이를 계산할 수 있는 기능이 내장되어 있을 수 있고, 영상의 깊이를 알 수 있는 깊이 센서가 카메라에 부착되어 있을 수 있다.
도 3을 참고하면, 중첩 공간 계산부(110)는 촬영 공간에 설치된 복수의 카메라로부터 획득되는 깊이 값을 수신한다(S310).
중첩 공간 계산부(110)는 복수의 카메라로부터 각각 획득되는 깊이 값을 이용하여 복수의 카메라의 위치와 방향을 계산한다(S320).
중첩 공간 계산부(110)는 복수의 카메라의 위치와 방향으로부터 각각 해당 카메라의 유효 촬영 공간을 생성한다(S330).
중첩 공간 계산부(110)는 복수의 카메라의 유효 촬영 공간들로부터 공통 중첩 공간을 계산한다(S340). 이때 공통 중첩 공간(410)은 도 4에 도시한 바와 같이 n개 이상의 카메라의 유효 촬영 공간이 공통적으로 중첩된 영역을 포함할 수 있다. 예를 들어, n=3으로 설정되면, 셋 이상의 복수의 카메라의 유효 촬영 공간 중에서 최소 3개의 서로 다른 유효 촬영 공간이 공통적으로 중첩되는 영역이 공통 중첩 공간이 될 수 있다. 예를 들어, 카메라의 개수가 m개이고, n=m으로 설정되면, 모든 카메라의 촬영 공간이 공통적으로 중첩되는 영역이 공통 중첩 공간이 될 수 있다.
중첩 공간 계산부(110)는 공통 중첩 공간의 3차원 공간 좌표를 중첩 공간 데이터베이스에 저장한다(S350). 공통 중첩 공간의 3차원 공간 좌표는 다양한 방식으로 구해질 수 있다.
도 5는 도 1에 도시된 중첩 공간 계산부의 공통 중첩 공간을 계산하는 방법의 또 다른 예를 나타낸 도면으로, 도 3과 같이 깊이 값을 이용하되, 카메라에서 깊이를 측정할 수 없는 경우에 해당된다.
도 5를 참고하면, 중첩 공간 계산부(110)는 촬영 공간에 설치된 복수의 카메라로부터 각각 촬영된 영상을 수신한다(S510).
중첩 공간 계산부(110)는 복수의 카메라로부터 각각 촬영된 영상간 변이(disparity)를 계산하고, 영상간 변이를 이용하여 각 카메라의 깊이 값을 계산한다(S520).
중첩 공간 계산부(110)는 복수의 카메라의 깊이 값을 이용하여 각각 복수의 카메라의 위치와 방향을 계산한다(S530).
중첩 공간 계산부(110)는 복수의 카메라의 위치와 방향으로부터 각각 해당 카메라의 유효 촬영 공간을 생성한다(S540).
중첩 공간 계산부(110)는 복수의 카메라의 유효 촬영 공간들로부터 공통 중첩 공간을 계산한다(S550). 이때 공통 중첩 공간은 도 3에서 설명한 바와 같이 n개 이상의 촬영 공간이 공통적으로 중첩된 영역을 포함할 수 있다.
중첩 공간 계산부(110)는 공통 중첩 공간의 3차원 공간 좌표를 중첩 공간 데이터베이스(120)에 저장한다(S560).
도 6은 도 1에 도시된 가시화부에서 공통 중첩 공간을 가시화하는 방법의 일 예를 나타낸 도면이다.
도 6을 참고하면, 가시화부(130)는 가상현실 또는 증강현실용 디바이스를 이용할 수 있다.
가시화부(130)는 가상 또는 증강현실용 디바이스의 위치와 방향을 포함하는 포즈 정보를 계산한다(S610).
가시화부(130)는 계산된 위치와 방향을 사용하여 뷰 프러스텀 및 뷰포트를 계산한다(S620).
가시화부(130)는 중첩 공간 데이터베이스(120)에 저장된 공통 중첩 공간의 3차원 공간 좌표들을 증강현실 디스플레이의 뷰포트 영역에 오버레이하여 표시한다(S630). 이때 중첩 공간 데이터베이스(120)에 저장된 공통 중첩 공간의 3차원 공간 좌표들은 선택적으로 전부 또는 일부만 표시될 수 있으며, 메쉬 형태로 변형되어 표시될 수도 있다.
도 7은 도 1에 도시된 가시화부에서 공통 중첩 공간을 가시화하는 방법의 다른 예를 나타낸 도면으로, 도 6과 달리 프로젝터 및 프로젝터와 조합을 이루는 카메라를 이용하는 방법이다. 도 8은 도 7의 가시화 방법을 구현하기 위한 가시화부의 구성을 나타낸 도면이다.
먼저, 도 8을 참고하면, 가시화부(130)는 프로젝터(132), 카메라(134) 및 처리부(136)를 포함할 수 있다.
도 7 및 도 8을 참고하면, 프로젝터(132)는 촬영 공간을 이동하는 피사체로 임의의 패턴을 투사하고(S710), 카메라(134)는 프로젝터로부터 패턴이 투사된 피사체를 촬영한다(S720).
처리부(136)는 카메라(134)에 의해 촬영된 영상에서 피사체의 위치 좌표를 계산한다(S730).
처리부(136)는 피사체의 위치 좌표로부터 피사체의 3차원 공간 좌표를 계산한다(S740).
처리부(136)는 피사체의 3차원 공간 좌표가 중첩 공간 데이터베이스 내 3차원 공간 좌표들로 구성되는 공통 중첩 공간 내에 존재하면(S750), 프로젝터로 피사체의 표면에 3차원 공간 좌표를 표시한다(S760). 처리부(136)는 피사체의 3차원 공간 좌표가 공통 중첩 공간 내에 존재하면, 프로젝터로 피사체의 표면에 3차원 공간 좌표를 임의의 색상과 형태로 표시할 수 있다.
한편, 처리부(136)는 피사체의 3차원 공간 좌표가 공통 중첩 공간 밖에 존재하면, 피사체의 3차원 공간 좌표를 임의의 색상과 형태로 표시할 수 있다. 이때 처리부(136)는 피사체의 3차원 공간 좌표가 공통 중첩 공간 내에 존재할 때 표시하는 색상 및 형태와 구분하여, 공통 중첩 공간 밖에 존재하는 피사체의 3차원 공간 좌표를 표시할 수 있다. 이와 달리, 처리부(136)는 피사체의 3차원 공간 좌표가 공통 중첩 공간 밖에 존재하면, 피사체의 3차원 공간 좌표를 표시하지 않을 수 있다.
이러한 방법으로, 가시화부(130)는 중첩 공간 데이터베이스 내 3차원 공간 좌표들로 구성되는 공통 중첩 공간을 가시화한다.
도 9는 도 1에 도시된 가시화부에서 공통 중첩 공간을 가시화하는 방법의 또 다른 예를 나타낸 도면으로, 도 7과 달리 프로젝터 및 프로젝터와 조합을 이루는 깊이 센서를 이용하는 방법이다. 도 10은 도 9의 가시화 방법을 구현하기 위한 가시화부의 구성을 나타낸 도면이다.
먼저, 도 10을 참고하면, 가시화부(130)는 프로젝터(131), 깊이 센서(133) 및 처리부(135)를 포함할 수 있다.
도 9 및 도 10을 참고하면, 프로젝터(131)는 촬영 공간을 이동하는 피사체로 임의의 패턴을 투사한다(S910).
깊이 센서(133)는 촬영 공간을 이동하는 피사체의 깊이 값을 획득한다(S920).
처리부(135)는 깊이 센서(133)에 의해 획득된 깊이 값을 토대로 피사체의 3차원 공간 좌표를 계산한다(S930).
처리부(135)는 피사체의 3차원 공간 좌표가 중첩 공간 데이터베이스 내 3차원 공간 좌표들로 구성되는 공통 중첩 공간 내에 존재하면(S940), 프로젝터로 피사체의 표면에 3차원 공간 좌표를 표시한다(S950).
이러한 방법으로, 가시화부(130)는 중첩 공간 데이터베이스 내 3차원 공간 좌표들로 구성되는 공통 중첩 공간을 가시화한다.
도 11은 본 발명의 다른 실시 예에 따른 다중 카메라 기반 입체영상 콘텐츠 제작을 위한 촬영 공간 가시화 장치를 개략적으로 나타낸 도면이다.
도 11을 참고하면, 다중 카메라 기반 입체영상 콘텐츠 제작을 위한 촬영 공간 가시화 장치(1100)는 앞에서 설명한 다중 카메라 기반 입체영상 콘텐츠 제작을 위한 촬영 공간 가시화 방법이 구현된 컴퓨팅 장치를 나타낼 수 있다.
다중 카메라 기반 입체영상 콘텐츠 제작을 위한 촬영 공간 가시화 장치(1100)는 프로세서(1110), 메모리(1120), 입력 인터페이스 장치(1130), 출력 인터페이스 장치(1140), 및 저장 장치(1150) 중 적어도 하나를 포함할 수 있다. 각각의 구성 요소들은 공통 버스(bus)(1160)에 의해 연결되어 서로 통신을 수행할 수 있다. 또한, 각각의 구성 요소들은 공통 버스(1160)가 아니라, 프로세서(1110)를 중심으로 개별 인터페이스 또는 개별 버스를 통하여 연결될 수도 있다.
프로세서(1110)는 AP(Application Processor), CPU(Central Processing Unit), GPU(Graphic　Processing　Unit) 등과 같은 다양한 종류들로 구현될 수 있으며, 메모리(1120) 또는 저장 장치(1150)에 저장된 명령을 실행하는 임의의 반도체 장치일 수 있다. 프로세서(1110)는 메모리(1120) 및 저장 장치(1150) 중에서 적어도 하나에 저장된 프로그램 명령(program command)을 실행할 수 있다. 이러한 프로세서(1110)는 위의 도 1 내지 도 3을 토대로 설명한 다중 카메라 기반 입체영상 콘텐츠 제작을 위한 촬영 공간 가시화 방법을 구현하도록 구성될 수 있다. 예를 들어, 프로세서(1110)는 도 1에서 설명한 중첩 공간 계산부(110) 및 가시화부(130)의 적어도 일부 기능을 구현하기 위한 프로그램 명령을 메모리(1120)에 저장하고 도 1 내지 도 3을 토대로 설명한 동작이 수행되도록 제어할 수 있다.
메모리(1120) 및 저장 장치(1150)는 다양한 형태의 휘발성 또는 비 휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1120)는 ROM(read-only memory)(1121) 및 RAM(random access memory)(1122)를 포함할 수 있다. 본 발명의 실시 예에서 메모리(1120)는 프로세서(1110)의 내부 또는 외부에 위치할 수 있고, 메모리(1120)는 이미 알려진 다양한 수단을 통해 프로세서(1110)와 연결될 수 있다.
입력 인터페이스 장치(1130)는 데이터를 프로세서(1110)로 제공하도록 구성된다. 예를 들면, 입력 인터페이스 장치(1130)는 카메라에 의해 촬영된 영상이나 공통 중첩 데이터베이스에 저장된 데이터 등을 프로세서(1110)로 제공하도록 구성될 수 있다.
출력 인터페이스 장치(1140)는 프로세서(1110)로부터의 데이터를 출력하도록 구성된다. 예를 들면, 출력 인터페이스 장치(1140)는 프로세서(1110)로부터의 공통 중첩 공간의 위치 데이터나 가시화된 공통 중첩 공간을 출력하도록 구성될 수 있다.
또한 본 발명의 실시 예에 따른 다중 카메라 기반 입체영상 콘텐츠 제작을 위한 촬영 공간 가시화 방법 중 적어도 일부는 컴퓨팅 장치에서 실행되는 프로그램 또는 소프트웨어로 구현될 수 있고, 프로그램 또는 소프트웨어는 컴퓨터로 판독 가능한 매체에 저장될 수 있다.
또한 본 발명의 실시 예에 따른 다중 카메라 기반 입체영상 콘텐츠 제작을 위한 촬영 공간 가시화 방법 중 적어도 일부는 컴퓨팅 장치와 전기적으로 접속될 수 있는 하드웨어로 구현될 수도 있다.
이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리 범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리 범위에 속하는 것이다.

Claims (16)

  1. 다중 카메라 기반 입체영상 콘텐츠 제작을 위한 유효 촬영 공간 가시화 장치에서,
    촬영 공간에 설치된 복수의 카메라 중에서 설정 개수 이상의 카메라에 의해 공통적으로 촬영되는 공통 중첩 공간을 계산하고, 상기 공통 중첩 공간의 3차원 공간 좌표를 계산하는 중첩 공간 계산부,
    상기 공통 중첩 공간의 3차원 공간 좌표를 저장하는 중첩 공간 데이터베이스, 그리고
    상기 공통 중첩 공간을 가시화하는 가시화부
    를 포함하는 유효 촬영 공간 가시화 장치.
  2. 제1항에서,
    상기 중첩 공간 계산부는 상기 복수의 카메라로부터 상기 촬영 공간에서 연속적으로 이동하는 마커를 촬영한 복수의 영상을 수신하고, 설정 개수 이상의 영상에서 마커가 동시에 검출될 때 상기 마커가 상기 공통 중첩 공간에 있는 것으로 판단하고, 상기 마커의 3차원 공간 위치를 계산하는 유효 촬영 공간 가시화 장치.
  3. 제2항에서,
    상기 중첩 공간 계산부는 상기 마커가 검출된 영상에서 상기 마커의 2차원 위치 좌표를 계산하고, 상기 마커의 2차원 위치 좌표를 해당 카메라의 외부 파라미터를 이용하여 상기 마커의 3차원 공간 좌표로 변환하는 유효 촬영 공간 가시화 장치.
  4. 제1항에서,
    상기 중첩 공간 계산부는 상기 복수의 카메라의 깊이 값을 상기 복수의 카메라의 유효 촬영 공간을 생성하고, 상기 복수의 카메라의 유효 촬영 공간들로부터 상기 공통 중첩 공간을 계산하는 유효 촬영 공간 가시화 장치.
  5. 제4항에서,
    상기 중첩 공간 계산부는 상기 복수의 카메라로부터 촬영되는 영상간 변이를 이용하여 상기 복수의 카메라의 깊이 값을 각각 계산하는 유효 촬영 공간 가시화 장치.
  6. 제4항에서,
    상기 중첩 공간 계산부는 상기 복수의 카메라로부터 상기 깊이 값을 수신하는 유효 촬영 공간 가시화 장치.
  7. 제1항에서,
    상기 가시화부는 가상현실 또는 증강현실용 디바이스를 이용하여 상기 공통 중첩 공간을 가시화하는 유효 촬영 공간 가시화 장치.
  8. 제1항에서,
    상기 가시화부는 프로젝션 기반으로 상기 공통 중첩 공간을 가시화하는 유효 촬영 공간 가시화 장치.
  9. 다중 카메라 기반 입체영상 콘텐츠 제작을 위한 유효 촬영 공간 가시화 장치에서 유효 촬영 공간을 가시화하는 방법에서,
    촬영 공간에 설치된 복수의 카메라 중에서 설정 개수 이상의 카메라에 의해 공통적으로 촬영되는 공통 중첩 공간을 계산하는 단계,
    상기 공통 중첩 공간의 3차원 공간 좌표를 계산하여 중첩 공간 데이터베이스에 저장하는 단계, 그리고
    상기 중첩 공간 데이터베이스에 저장된 상기 공통 중첩 공간을 가시화하는 단계
    를 포함하는 유효 촬영 공간 가시화 방법.
  10. 제9항에서,
    상기 공통 중첩 공간을 계산하는 단계는
    상기 복수의 카메라로부터 상기 촬영 공간에서 연속적으로 이동하는 마커를 촬영한 복수의 영상을 각각 설정된 시간 동안 수신하는 단계,
    설정 개수 이상의 영상에서 마커가 동시에 검출될 때 상기 마커의 3차원 공간 위치를 계산하는 단계, 그리고
    상기 설정된 시간 동안 수신되는 복수의 영상으로부터 계산되는 상기 마커의 3차원 공간 위치로부터 상기 공통 중첩 공간을 생성하는 단계를 포함하는 유효 촬영 공간 가시화 방법.
  11. 제9항에서,
    상기 공통 중첩 공간을 계산하는 단계는
    상기 복수의 카메라로부터 획득되는 깊이 값을 이용하여 상기 복수의 카메라의 포즈 정보를 계산하는 단계,
    상기 복수의 카메라의 포즈 정보를 이용하여 상기 복수의 카메라의 유효 촬영 공간을 생성하는 단계, 그리고
    상기 복수의 카메라의 유효 촬영 공간들로부터 상기 공통 중첩 공간을 생성하는 단계를 포함하는 유효 촬영 공간 가시화 방법.
  12. 제9항에서,
    상기 공통 중첩 공간을 계산하는 단계는
    상기 복수의 카메라로부터 촬영되는 영상간 변이를 이용하여 상기 복수의 카메라의 깊이 값을 계산하는 단계,
    상기 복수의 카메라의 깊이 값을 이용하여 상기 복수의 카메라의 포즈 정보를 계산하는 단계,
    상기 복수의 카메라의 포즈 정보를 이용하여 상기 복수의 카메라의 유효 촬영 공간을 생성하는 단계, 그리고
    상기 복수의 카메라의 유효 촬영 공간들로부터 상기 공통 중첩 공간을 생성하는 단계를 포함하는 유효 촬영 공간 가시화 방법.
  13. 제9항에서,
    상기 가시화하는 단계는 가상현실 또는 증강현실용 디바이스를 이용하여 상기 공통 중첩 공간을 표시하는 단계를 포함하는 유효 촬영 공간 가시화 방법.
  14. 제9항에서,
    상기 가시화하는 단계는 프로젝션 기반으로 상기 공통 중첩 공간을 가시화하는 단계를 포함하는 유효 촬영 공간 가시화 방법.
  15. 제9항에서,
    상기 가시화하는 단계는
    프로젝터를 이용하여 상기 촬영 공간을 이동하는 피사체로 임의의 패턴을 투사하는 단계,
    상기 프로젝터로부터 패턴이 투사된 피사체를 촬영한 영상으로부터 상기 피사체의 3차원 공간 좌표를 계산하는 단계, 그리고
    상기 피사체의 3차원 공간 좌표가 상기 중첩 공간 데이터베이스에 저장된 상기 공통 중첩 공간 내에 존재하는 경우, 상기 프로젝터로 상기 피사체의 표면에 상기 3차원 공간 좌표를 표시하는 단계를 포함하는 유효 촬영 공간 가시화 방법.
  16. 제9항에서,
    상기 가시화하는 단계는
    프로젝터를 이용하여 상기 촬영 공간을 이동하는 피사체로 임의의 패턴을 투사하는 단계,
    깊이 센서를 이용하여 상기 피사체의 깊이 값을 획득하는 단계,
    상기 깊이 값을 토대로 상기 피사체의 3차원 공간 좌표를 계산하는 단계, 그리고
    상기 피사체의 3차원 공간 좌표가 상기 중첩 공간 데이터베이스에 저장된 상기 공통 중첩 공간 내에 존재하는 경우, 상기 프로젝터로 상기 피사체의 표면에 상기 3차원 공간 좌표를 표시하는 단계를 포함하는 유효 촬영 공간 가시화 방법.
KR1020210033770A 2021-03-16 2021-03-16 다중 카메라 기반 입체영상 콘텐츠 제작을 위한 유효 촬영 공간 가시화 방법 및 장치 KR20220129201A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210033770A KR20220129201A (ko) 2021-03-16 2021-03-16 다중 카메라 기반 입체영상 콘텐츠 제작을 위한 유효 촬영 공간 가시화 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210033770A KR20220129201A (ko) 2021-03-16 2021-03-16 다중 카메라 기반 입체영상 콘텐츠 제작을 위한 유효 촬영 공간 가시화 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20220129201A true KR20220129201A (ko) 2022-09-23

Family

ID=83445987

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210033770A KR20220129201A (ko) 2021-03-16 2021-03-16 다중 카메라 기반 입체영상 콘텐츠 제작을 위한 유효 촬영 공간 가시화 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20220129201A (ko)

Similar Documents

Publication Publication Date Title
JP7164968B2 (ja) 画像処理装置、画像処理装置の制御方法及びプログラム
KR20190034092A (ko) 화상처리 장치, 화상처리 방법, 화상처리 시스템 및 기억매체
US11086395B2 (en) Image processing apparatus, image processing method, and storage medium
KR102539427B1 (ko) 화상 처리장치, 화상 처리방법, 및 기억매체
US9696543B2 (en) Information processing apparatus and information processing method
US20140218354A1 (en) View image providing device and method using omnidirectional image and 3-dimensional data
CN110956695B (zh) 信息处理装置、信息处理方法和存储介质
KR102049456B1 (ko) 광 필드 영상을 생성하는 방법 및 장치
CN102724398B (zh) 图像数据提供方法、组合方法及呈现方法
KR102279300B1 (ko) 가상 물체 표시 제어 장치, 가상 물체 표시 시스템, 가상 물체 표시 제어 방법, 및 가상 물체 표시 제어 프로그램
JP7196421B2 (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
US20200177868A1 (en) Apparatus and method for generating a tiled three-dimensional image representation of a scene
JP2020173529A (ja) 情報処理装置、情報処理方法、及びプログラム
TWI501193B (zh) Computer graphics using AR technology. Image processing systems and methods
JP6027952B2 (ja) 拡張現実画像生成システム、３次元形状データ生成装置、拡張現実提示装置、拡張現実画像生成方法、及びプログラム
CN111742352A (zh) 3d对象建模方法以及相关设备和计算机程序产品
JP2006017632A (ja) ３次元画像処理装置、光軸調整方法、光軸調整支援方法
KR20220129201A (ko) 다중 카메라 기반 입체영상 콘텐츠 제작을 위한 유효 촬영 공간 가시화 방법 및 장치
US20180278902A1 (en) Projection device, content determination device and projection method
KR20220115223A (ko) 다중 카메라 캘리브레이션 방법 및 장치
JP6436872B2 (ja) 情報処理装置、情報処理方法、プログラム
US20240161394A1 (en) Information processing apparatus, information processing method, and computer-readable medium
JP5106378B2 (ja) 画像処理装置、方法及びプログラム
WO2017145755A1 (ja) 情報処理装置および情報処理方法
JP2019061684A (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination