KR102298047B1 - 디지털 콘텐츠를 녹화하여 3d 영상을 생성하는 방법 및 장치 - Google Patents

Abstract

본 발명은 디지털 콘텐츠를 녹화하여 3D 영상을 생성하는 방법에 관한 것으로서, 적어도 하나 이상의 복수의 커넥티드 장치에서 동일한 타겟 오브젝트 또는 관심객체를 포함한 캡처 이미지를 복수의 커넥티드 장치 중 하나의 장치로 전송하는 단계, 상기 복수의 커넥티드 장치 중 하나의 장치로부터 현재 장치의 보정된 위치 및 상기 타겟 오브젝트의 위치, 촬영 방향, 영상 크기 또는 초점 길이 정보 중 적어도 하나 이상을 포함하는 카메라 촬영조건 정보를 수신하는 단계, 상기 수신된 카메라 촬영조건 정보를 고려하여 디지털 콘텐츠를 생성하는 단계; 및 상기 생성된 디지털 콘텐츠를 상기 복수의 커넥티드 장치 중 하나의 장치로 전송하는 단계를 포함하고, 상기 현재 장치의 보정된 위치는 상기 캡처 이미지에 있는 타겟 오브젝트 위치 또는 관심객체 위치를 고려하여 결정되고, 상기 촬영 방향은 상기 타겟 오브젝트의 위치와 상기 현재 장치의 보정된 위치를 연결하는 선과 평행하고, 상기 초점 길이는 상기 타겟 오브젝트 위치와 상기 보정된 현재 위치 간의 거리에 따라 결정되고, 상기 적어도 하나 이상의 복수의 커넥티드 장치는 상기 촬영조건 정보에 포함된 영상 크기로 디지털 콘텐츠를 생성하는 것을 특징으로 하며, 여러 커넥티드 장치를 이용하여 다양한 촬영 방향의 영상 데이터를 취득함으로써, 효과적으로 360도 3D 데이터를 제작할 수 있다.

Description

디지털 콘텐츠를 녹화하여 3D 영상을 생성하는 방법 및 장치{Method of recording digital contents and generating 3D images and apparatus using the same}

본 발명은 디지털 콘텐츠를 녹화하여 3D 영상을 생성하는 방법에 관한 것으로서, 더욱 상세하게는 여러 커넥티드 장치를 이용하여 다양한 촬영 방향의 영상 데이터를 취득함으로써, 효과적으로 360도 3D 데이터를 제작할 수 있는 디지털 콘텐츠를 녹화하여 3D 영상을 생성하는 방법 및 장치에 관한 것이다.

종래에는 파노라마 사진을 좌우방향과 위아래로 찍어서 동그란 구 모양으로 배치하고, 구의 한 가운데에 있는 카메라 위치에 서서 구의 벽면에 디스플레이되는 화면을 보기 때문에 왜곡이 크게 발생하였다.

또한, 사용자는 카메라 위치에 고정되어 있고, 단지 고개를 돌려서 좌, 우, 위, 아래를 바라볼 수만 있고, 영상 내에서 카메라 촬영위치와 다른 위치로 옮겨서 보기는 어려운 실정이다.

따라서, 여러 위치의 카메라에서 동시 촬영함으로써, 왜곡을 줄이고 여러 촬영 지점에서 본 것과 같은 영상을 제공할 필요가 증대되고 있다.

한편, 360도 이미지를 촬영하여 3D 데이터를 구축하는 경우, 데이터 수집에 많은 비용이 소요된다. 또한 다양한 촬영방향에서 촬영된 비디오를 이용하는 경우, 수집 시간이 오래 걸리고, 타일 이미지의 접합(stitiching)시 중복 영역에 대한 문제가 있으며, 관심 영역에 대한 고해상도 이미지가 필요하게 된다. 따라서 여러 장치를 이용하여 다양한 촬영방향의 영상 데이터를 취득하여, 효과적으로 360도 3D 데이터를 제작하는 방법이 필요한 실정이다.

선행기술 1(KR 10-2017-0017700A)은 360도 3D 입체 영상을 생성하는 전자 장치에 관한 것으로, 좌안 구형 영상 및 우안 구형 영상을 생성하며, 생성된 좌/우안 구형 영상을 이용하여 뎁스 정보를 획득하고, 획득한 뎁스 정보를 이용하여 입체감이 조절되는 것을 특징으로 한다.

선행기술 2(KR 10-1639275B1)는 유저인터페이스부를 통해 360도 렌더링 처리부에 의해 생성된 3차원 구형 영상을 사용자가 원하는 대로 자유 시점의 영상을 볼 수 있도록 360도 영상을 상, 하, 좌, 우, 줌 기능을 수행할 수 있도록 처리해주는 것을 특징으로 하나 구체적인 구성이 나타나 있지 않다.

따라서, 본 발명이 해결하고자 하는 첫 번째 과제는 여러 커넥티드 장치를 이용하여 다양한 촬영 방향의 영상 데이터를 취득함으로써, 효과적으로 360도 3D 데이터를 제작할 수 있는 디지털 콘텐츠를 녹화하여 3D 영상을 생성하는 방법을 제공하는 것이다.

본 발명이 해결하고자 하는 두 번째 과제는 여러 위치의 카메라에서 동시 촬영함으로써, 왜곡을 줄이고 여러 촬영 지점에서 본 것과 같은 영상을 제공할 수 있는 디지털 콘텐츠를 녹화하여 3D 영상을 생성하는 장치를 제공하는 것이다.

또한, 상기된 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공하는데 있다.

본 발명은 상기 첫 번째 과제를 달성하기 위하여, 적어도 하나 이상의 복수의 커넥티드 장치에서 동일한 타겟 오브젝트 또는 관심객체를 포함한 캡처 이미지를 복수의 커넥티드 장치 중 하나의 장치로 전송하는 단계; 상기 복수의 커넥티드 장치 중 하나의 장치로부터 현재 장치의 보정된 위치 및 상기 타겟 오브젝트의 위치, 촬영 방향, 영상 크기 또는 초점 길이 정보 중 적어도 하나 이상을 포함하는 카메라 촬영조건 정보를 수신하는 단계; 상기 수신된 카메라 촬영조건 정보를 고려하여 디지털 콘텐츠를 생성하는 단계; 및 상기 생성된 디지털 콘텐츠를 상기 복수의 커넥티드 장치 중 하나의 장치로 전송하는 단계를 포함하고, 상기 현재 장치의 보정된 위치는 상기 캡처 이미지에 있는 타겟 오브젝트 위치 또는 관심객체 위치를 고려하여 결정되고, 상기 촬영 방향은 상기 타겟 오브젝트의 위치와 상기 현재 장치의 보정된 위치를 연결하는 선과 평행하고, 상기 초점 길이는 상기 타겟 오브젝트 위치와 상기 보정된 현재 위치 간의 거리에 따라 결정되고, 상기 적어도 하나 이상의 복수의 커넥티드 장치는 상기 촬영조건 정보에 포함된 영상 크기로 디지털 콘텐츠를 생성하는 방법을 제공한다.

본 발명의 일 실시 예에 의하면, 상기 캡처 이미지는 상기 타겟 오브젝트를 검출하는 마커를 포함하고, 상기 디지털 콘텐츠의 해상도는 초점 길이에 따라 결정되는 것이 바람직하다.

또한, 상기 디지털 콘텐츠는 사용자의 머리 또는 눈 트랙킹 정보를 포함하는 것이 바람직하다.

본 발명의 다른 실시 예에 의하면, 관심객체의 캡처된 이미지를 이용하여 현재 위치를 결정하는 단계; 복수의 커넥티드 장치들 중 적어도 하나 이상의 커넥티드 장치로 상기 현재 위치 및 상기 하나 이상의 커넥티드 장치의 보정된 위치, 촬영 방향, 영상 크기, 또는 초점 길이 중 적어도 하나 이상을 포함하는 카메라 촬영조건 정보를 전송하는 단계; 상기 복수의 커넥티드 장치들 중 적어도 하나의 이상의 커넥티드 장치로부터 상기 전송된 카메라 촬영조건 정보를 이용하여 동일한 영상 크기로 촬영된 디지털 콘텐츠를 수신하는 단계; 및 상기 보정된 위치는 상기 캡처된 이미지들에 기초하여 결정되고, 상기 촬영방향은 상기 현재 위치와 상기 보정된 위치를 연결하는 연장선과 평행한 것을 특징으로 하는 디지털 콘텐츠 생성 방법을 제공한다.

상기 복수의 커넥티드 장치가 그룹별로 분류되어, 서로 다른 영상 크기를 갖는 디지털 컨텐츠를 수신할 수 있다.

상기 캡처된 이미지에서 상기 복수의 커넥티드 장치에 부착된 마커를 검출하고, 상기 커넥티드 장치들 중 적어도 하나의 커넥티드 장치로부터 머리 또는 눈의 트랙킹 정보를 수신할 수 있다.

본 발명의 또 다른 실시 예에 의하면, 디지털 콘텐츠를 저장하기 위한 이동 경로 및 타겟 오브젝트의 정보를 포함하는 영상 촬영 이벤트 정보를 마스터 장치로 전송하는 단계; 관심 객체의 3D 좌표와 컬러 정보를 포함하는 관심객체 정보를 상기 마스터 장치로 전송하는 단계; 상기 마스터 장치의 현재 위치 및 커넥티드 장치들의 보정된 위치를 계산하고, 상기 계산 결과와 카메라 촬영조건 정보를 상기 마스터 장치로 전송하는 단계; 상기 커넥티드 장치들에서 상기 카메라 촬영조건 정보를 이용하여 촬영한 캡처 영상을 상기 마스터 장치를 통해 수신하는 단계; 상기 수신된 디지털 콘텐츠를 이용하여 3D 영상을 생성하는 단계를 포함하고, 상기 캡처된 이미지들의 촬영 방향은 상기 타겟 오브젝트의 위치와 커넥티드 장치들 중 적어도 하나의 위치를 연결하는 연장선과 평행한 것을 특징으로 하는 커넥티드 장치들 중 서버에서 3D 영상을 생성하는 방법을 제공한다.

상기 카메라 촬영조건 정보는 초점 길이, 영상 크기, 상기 커넥티드 장치들의 보정된 위치, 상기 타겟 오브젝트 위치를 포함하고, 상기 초점 길이의 정보로 이미지 해상도를 결정할 수 있다.

또한, 상기 카메라 촬영조건 정보에 포함된 상기 영상 크기에 따라, 상기 수신한 캡처 영상을 서로 다른 그룹으로 분류한 후, 3D 영상을 생성하는 것이 바람직하다.

한편, 상기 카메라 촬영조건 정보에 포함된 영상 크기가 동일한 상기 캡처 영상에 대해서, 오버랩되는 영역에 존재하는 관심 객체의 좌표 정보의 변화가 최소화되도록 캡처 캡처 영상들 사이에 보간평면(fitting plane)을 결정할 수 있다.

또한, 상기 캡처된 영상들을 연결하는 가상 카메라 위치를 결정하는 단계를 더 포함할 수 있다.

본 발명은 상기 두 번째 과제를 달성하기 위하여, 적어도 하나 이상의 복수의 커넥티드 장치에서 동일한 타겟 오브젝트 또는 관심객체를 포함한 캡처 이미지를 복수의 커넥티드 장치 중 하나의 장치로 전송하는 송신부; 상기 복수의 커넥티드 장치 중 하나의 장치로부터 현재 장치의 보정된 위치, 상기 타겟 오브젝트의 위치, 촬영 방향, 초점 길이, 또는 영상 크기 중 적어도 하나 이상을 포함하는 카메라 촬영조건 정보를 수신하는 수신부; 및 상기 수신된 카메라 촬영조건 정보를 고려하여 디지털 콘텐츠를 생성하는 촬영부를 포함하고, 상기 송신부는 상기 생성된 디지털 콘텐츠를 상기 복수의 커넥티드 장치 중 하나의 장치로 전송하고, 상기 현재 보정된 위치는 상기 캡처 이미지에 있는 타겟 오브젝트 위치 또는 관심객체 위치를 고려하여 결정되고, 상기 촬영 방향은 상기 타겟 오브젝트의 위치와 상기 현재 보정된 위치를 연결하는 선과 평행하고, 상기 초점 길이는 상기 타겟 오브젝트 위치와 상기 보정된 현재 위치 간의 거리에 따라 결정되는 디지털 콘텐츠를 생성하는 커넥티드 장치를 제공한다.

본 발명의 일 실시 예에 의하면, 관심객체의 캡처된 이미지를 이용하여 현재 위치를 결정하는 계산부; 복수의 커넥티드 장치들 중 적어도 하나 이상의 커넥티드 장치로 상기 현재 위치, 상기 하나 이상의 커넥티드 장치의 보정된 위치, 촬영 방향, 초점 길이 또는 영상 크기 중 적어도 하나 이상을 포함하는 카메라 촬영조건 정보를 전송하는 송신부; 상기 복수의 커넥티드 장치들 중 적어도 하나의 커넥티드 장치로부터 상기 카메라 촬영조건 정보를 이용하여 생성된 디지털 콘텐츠를 수신하는 수신부; 및 상기 현재 위치 결정은 상기 관심객체 정보와 상기 캡처된 이미지 간에 경계선 또는 컬러를 비교하여 이루어지고, 상기 촬영방향은 상기 현재 위치와 상기 하나 이상의 커넥티드 장치의 보정된 위치를 연결하는 연장선과 평행하고, 상기 하나 이상의 커넥티드 장치의 보정된 위치는 상기 캡처된 이미지들에 기초하여 결정되는 것을 특징으로 하는 디지털 콘텐츠를 생성하는 마스터 장치를 제공할 수 있다.

본 발명의 다른 실시 예에 의하면, 디지털 콘텐츠를 저장하기 위한 이동 경로 및 타겟 오브젝트 정보를 포함하는 영상 촬영 이벤트 정보를 생성하는 이벤트 정보 생성부; 상기 영상 촬영 이벤트 정보를 마스터 장치로 전송하고, 관심 객체의 3D 좌표와 컬러 정보를 포함하는 관심객체 정보를 상기 마스터 장치로 전송하고, 상기 마스터 장치의 현재 위치 및 커넥티드 장치들의 보정된 위치를 계산하고, 상기 계산 결과와 카메라 촬영조건 정보를 전송하는 송신부; 상기 커넥티드 장치들에서 카메라 촬영조건 정보를 이용하여 생성된 캡처 이미지들을 상기 마스터 장치를 통해 수신하는 수신부; 및 상기 촬영정보에 포함된 영상 크기 정보를 이용하여, 상기 수신된 디지털 콘텐츠를 디지털 콘텐츠별로 그룹핑하여 3D 영상을 생성하는 3D 영상 생성부를 포함하고, 상기 캡처된 이미지들의 촬영 방향은 상기 타겟 오브젝트의 위치와 상기 커넥티드 장치들 중 적어도 하나의 위치를 연결하는 연장선과 평행한 것을 특징으로 하는 3D 영상을 생성하는 서버를 제공한다.

상기 다른 기술적 과제를 해결하기 위하여, 본 발명은 상기된 디지털 콘텐츠를 녹화하여 3D 영상을 생성하는 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.

본 발명에 따르면, 여러 커넥티드 장치를 이용하여 다양한 촬영 방향의 영상 데이터를 취득함으로써, 효과적으로 360도 3D 데이터를 제작할 수 있다.

또한, 본 발명에 따르면, 여러 위치의 카메라에서 동시 촬영함으로써, 왜곡을 줄이고 여러 촬영 지점에서 본 것과 같은 영상을 제공할 수 있다.

도 1은 본 발명의 일 실시예에 따라 마스터 장치인 차량과 다수의 모바일 슬레이브 장치에서 이미지를 촬영하는 예이다.
도 2는 본 발명의 일 실시예에 따른 디지털 콘텐츠를 녹화하여 3D 영상을 생성하는 장치의 구성도이다.
도 3은 동일한 촬영 시야(FOV)를 유지하면서, 대상물을 촬영하는 경우 초점 거리와 촬영 각도(AOV)의 변화를 나타낸 것이다.
도 4은 커넥티드 장치들 간에 용이한 인식에 사용되는 컬러 마커의 예를 도시한 것이다.
도 5는 본 발명의 다른 실시 예에 따른 디지털 콘텐츠 녹화을 위해 다수의 차량과 다수의 모바일 장치간에 무선 연결된 상태를 도시한 것이다.
도 6은 촬영된 영상을 3D 영상으로 가공하기 위해 다수의 영상을 접합(stitching) 하는 예를 도시한 것이다.
도 7은 본 발명의 바람직한 일 실시 예에 따른 커넥티드 장치들 중 슬레이브 장치에서 디지털 콘텐츠를 녹화하는 방법의 흐름도이다.
도 8은 본 발명의 바람직한 일 실시 예에 따른 커넥티드 장치들 중 마스터 장치에서 3D 영상을 생성하는 방법의 흐름도이다.
도 9는 본 발명의 바람직한 일 실시 예에 따른 커넥티드 장치들 중 서버에서 3D 영상을 생성하는 방법의 흐름도이다.

본 발명에 관한 구체적인 내용의 설명에 앞서 이해의 편의를 위해 본 발명이 해결하고자 하는 과제의 해결 방안의 개요 혹은 기술적 사상의 핵심을 우선 제시한다.

다수의 커넥티드 장치들이 동일 시간에 동일 객체를 서로 다른 초점 거리를 가지는 영상으로 촬영할 수 있다. 이때, 촬영된 영상은 동일한 초점 거리와 동일한 촬영시야(field-of-view, FOV)로 촬영되어야 효과적으로 3D 영상 데이터로 변환될 수 있다. 정확한 초점좌표를 추출하기 위해서, 촬영 영상에 존재하는 관심 객체(point of interest, POI)의 3D 위치정보를 이용함으로써, 중복 영역을 가지는 파노라마 이미지를 합성할 수 있다.

또한 동일한 관심 객체에 대해서 서로 다른 해상도의 영상이 커넥티드 장치들에서 촬영될 수 있다. 가령 동일한 조건의 카메라로 촬영한 경우, 관심 객체와 가까운 곳에서 촬영한 영상은 먼 곳에서 촬영한 영상보다 높은 해상도를 갖게 된다. 그리고 대상물에서 가까울수록 작은 촬영 각도(angle-of-view, AOV)를 갖게 된다. 따라서 동일한 관심 객체에 일관된 촬영 시야와 해상도를 만족하도록, 커넥티드 장치의 촬영조건을 조정해야 한다.

커넥티드 장치의 좌표는 획득한 3D 위치 정보나 촬영 이미지를 이용하고, 정밀맵의 도로지도 및 DB상에 저장된 주요 관심 객체 정보의 3D 위치 정보 및 컬러 정보를 이용하여 보다 정확한 위치 계산(localization)이 가능하다.

따라서 상기 위치 계산을 통해 얻어진 마스터 장치의 현재 위치정보와 마스터 장치 주변의 슬레이브 장치에서 수신한 실시간 이미지 정보를 이용하여, 주변 슬레이브 장치의 위치를 계산할 수 있고, 그 결과를 주변 슬레이브 장치에 전송할 수 있다. 또한 커넥티드 장치들 사이의 인식은 무선신호 또는 장치상에 존재하는 물리적 마커(physical marker)를 통해 인식할 수 있다. 상기 마커의 인식 여부에 따라서 이미지 촬영 여부 및 복수의 장치들 간의 카메라 촬영조건 정보 송수신 여부를 결정할 수 있다.

상기 카메라 촬영조건 정보는 이미지 정보 획득을 위한 카메라 제어 및 사용자에게 제공되는 정보를 포함한다. 이때 사용자에게 제공되는 정보는 증강현실(augmented-reality, AR), 가상현실(virtual-reality, VR), 및 네비게이션 정보를 포함하며, 장치의 사용자는 상기 정보에 반응하여, 장치를 효과적으로 제어하거나 반응신호를 송신함으로써 추가적인 정보를 요청할 수 있다.

이때 상기 카메라 촬영조건 정보는 주변 모바일 슬레이브 장치가 마스터 장치의 촬영방향(viewpoint)과 동일한 방향으로 촬영될 있도록 하는 모바일 슬레이브 장치의 카메라 촬영방향, 촬영 시야, 영상 크기, 초점 길이 및 이미지 해상도를 포함한다.

이때 모바일 슬레이브 장치의 이미지 촬영이 사람의 의하여 이루어지는 경우, 마스터 장치는 촬영자의 머리 또는 눈 움직임 정보를 수신한 후 분석하여, 모바일 슬레이브 장치에 디스플레이 정보를 제공할 수 있다.

다수의 장치에서 추출된 이미지 영상을 접합하기 위해서는 장치의 위치정보가 필요하다. 장치의 위치정보 계산은 클라우드 서버 또는 클라우드 서버와 연결된 로컬 허브 장치나 가상 머신에서 수행되거나, 로컬 모바일 장치 중에서 가용 리소스가 충분한 장치를 마스터 장치로 선정하여 수행된다. 다수의 장치에서 수집한 영상과 관심객체(landmark 또는 POI)의 3D 좌표, 에지(Edge) 정보, 또는 정밀 도로맵 정보를 이용하여 마스터 장치의 위치값을 계산할 수 있다.

또한 마스터 장치는 슬레이브 장치로부터 마스터 장치를 타겟 오브젝트로 촬영한 전방/후방/좌측/우측 영상을 수신하여 다수의 장치들의 위치 정보의 네트워크 위치 정보를 이용하여 슬레이브 장치 위치를 계산할 수 있다. 상기 영상내에 마스터 장치 위치, 슬레이브 장치 위치 및 특정 관심객체의 위치는 동일한 촬영방향에 존재하는 것이 바람직하다.

또한 다수의 장치에서 촬영된 이미지에서 효과적으로 장치들의 위치를 인식하기 위해서 마스터 장치와 슬레이브 장치는 물리적인 마커 정보를 포함할 수 있다.

다수의 장치에서 촬영된 영상은 마스터 장치를 통해, 서버(허브 디바이스 또는 가상머신)로 전송되고, 또 다른 클라우드 서버에서 3D 영상 데이터를 생성할 수 있다. 이때, 동일한 촬영시야를 갖는 영상 그룹마다 접합 타일 이미지를 생성한 후, 가상 카메라 초점을 기준으로 서로 다른 타일 이미지를 재접합하여 3D 영상 데이터를 제작할 수 있다.

이하 첨부된 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있는 바람직한 실시 예를 상세히 설명한다. 그러나 이들 실시 예는 본 발명을 보다 구체적으로 설명하기 위한 것으로, 본 발명의 범위가 이에 의하여 제한되지 않는다는 것은 당업계의 통상의 지식을 가진 자에게 자명할 것이다.

본 발명이 해결하고자 하는 과제의 해결 방안을 명확하게 하기 위한 발명의 구성을 본 발명의 바람직한 실시 예에 근거하여 첨부 도면을 참조하여 상세히 설명하되, 도면의 구성요소들에 참조번호를 부여함에 있어서 동일 구성요소에 대해서는 비록 다른 도면상에 있더라도 동일 참조번호를 부여하였으며 당해 도면에 대한 설명시 필요한 경우 다른 도면의 구성요소를 인용할 수 있음을 미리 밝혀둔다. 아울러 본 발명의 바람직한 실시 예에 대한 동작 원리를 상세하게 설명함에 있어 본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명 그리고 그 이외의 제반 사항이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다.

도 1은 본 발명의 일 실시예에 따라 마스터 장치인 차량과 다수의 모바일 슬레이브 장치에서 이미지를 촬영하는 예이다.

도 1을 참조하면, 차량과 네트워크로 연결된 다수의 근접한 모바일 장치를 이용하여 동시에 여러 초점을 갖는 이미지를 취득하고, 해당 이미지를 접합(stitching) 함으로써 3D 영상 정보를 생성하는 환경을 도시한 것이다.

본 발명의 일 실시예로, 차량에 전/후/좌/우로 배치된 카메라에서 다수의 초점을 갖는 이미지 취득하고, 모바일 장치에서는 전방/후방 카메라를 동시에 작동시켜 이미지를 취득할 수 있다. 또한 모바일 장치는 로봇과 같은 자동화된 기기인 경우, 멀티 카메라를 탑재하여 자동화된 이미지 취득도 가능하다.

모바일 장치의 경우, 사용자는 사전에 정의된 마스터 장치인 차량(master vehicle)의 움직임에 맞추어 이미지를 촬영하거나, 마스터 장치에서 사용자 모바일 장치로 보낸 카메라 촬영조건 정보를 이용하여 촬영이 가능하다. 모바일 장치와 마스터 장치 차량이 네트워크로 연결된 후, 마스터 장치 차량에서 모바일 장치를 인식하거나, 반대로 모바일 장치에서 마스터 장치 차량을 인식할 수 있다.

이때 각 장치 간의 인식은 네트워크 연결, 이미지 인식 방법을 혼합하여 인식할 수 있다. 예를 들어, 네트워크 연결 또는 이미지 정보만으로 연결되거나, 순차적으로 연결을 승인할 수 있다.

다수의 장치에서 영상을 촬영하는 기준은 마스터 장치 차량을 타겟 오브젝트로 하는 촬영방향을 기준으로 주변을 촬영하는 것이 바람직하다. 따라서 타겟 오브젝트인 마스터 장치 차량과 모바일 장치는 서로 시야가 확보되거나, 모바일 장치는 타겟 오브젝트의 위치정보를 실시간으로 반영하여 촬영하는 것이 바람직하다.

또한 각 모바일 장치에서는 동일한 촬영 시야를 가지며, 일정 해상도를 만족하는 영상을 취득해야 한다. 이를 위해서 마스터 장치 차량과 모바일 장치 간의 거리정보를 이용하여, 모바일 장치의 초점 거리(focal length) 및 촬영 해상도를 조절하여 수행될 수 있다.

도 1을 참조하면, 마스터 장치인 차량(100)과 주변 모바일 장치(110, 120, 130, 140, 150, 160)가 네트워크로 연결되어 영상 정보를 취득하고 있다.

마스터 장치 차량(100)의 정면 방향으로 촬영한 영상을 A, 좌측 방향으로 촬영한 영상을 B, 우측 방향으로 촬영한 영상을 C, 후면 방향으로 촬영한 영상을 D라고 표시하기로 한다.

상기 A, B, C, D 영상은 마스터 장치 차량에서 촬영된 영상으로, 모바일 장치(110 내지 160)에서 촬영된 영상에 비해 촬영 각도(angle of view, AOV)가 크다. 마스터 장치 차량(100)의 좌측에 위치한 물체를 포함하는 영상 B의 경우, 가까운 거리에서 촬영된 모바일 장치(120) 영상의 해상도가 마스터 장치 차량(100)에서 촬영된 영상 해상도보다 높고 촬영 각도는 작을 수 있다.

이 경우, 마스터 장치 차량(100)에서 촬영된 영상을 이용하여 넓은 촬영 각도 영상 제공이 가능하고, 특정 관심객체를 줌인(zoom in) 하는 경우, 도 1의 오른쪽에 도시된 바와 같이 모바일 장치에서 촬영한 영상을 사용하여 동일한 해상도 영상 또는 고해상도 영상을 제공할 수 있다.

이때, 다수의 모바일 장치에서 촬영된 영상은, 영상 접합을 위해서 동일한 화면 크기(촬영 시야 및 프레임 크기를 포함) 가지며, 일정 해상도를 만족하는 것이 바람직하다. 그러나 다수의 모바일 장치와 마스터 장치 차량(100)의 거리는 모두 다르므로, 이러한 모바일 장치와 마스터 장치 차량(100) 간의 거리차(distance differences)를 고려하여, 각 모바일 장치의 초점거리(focal-length)와 이미지 해상도를 조절함으로써, 일정 해상도를 만족하는 3D 영상을 제공하는 것이 바람직하다.

상기 거리차 간의 델타값(거리차(i)-거리차(j))을 이용하여 모바일 장치의 초점거리 및 해상도를 일정 범위 내에서 조절할 수 있다. 거리차(i)는 모바일 장치i와 마스터 장치 차량(100)간의 거리를 의미한다.

또한 거리차가 일정 범위를 벗어나는 경우, 해당 모바일 장치에서 촬영된 영상을 3D 영상접합시 제외하는 것이 바람직하다.

한편, 초점거리를 조절하는 방법은 아래와 같다.

여기서, I는 이미지 상과 모바일 장치 사이의 이미지 상 거리, O는 물체와 모바일 장치 사이의 물체 거리, f는 초점 거리이다.

다수의 모바일 장치에서 동일한 촬영 시야와 프레임 크기로 대상물을 촬영하기 위해서는, 물체 거리(O)가 커질수록 초점 거리가 길어져야 하며, 고해상도로 촬영해야 일정 해상도를 유지할 수 있다(고해상도 촬영은 이미지 센서 사이즈가 크다는 것을 의미함). 따라서 모바일 장치와 마스터 장치 차량(100)가 가까울수록, 상대적으로 모바일 장치와 물체 거리(O)는 커지므로, 카메라 초점 거리가 길어져야 하며, 이미지 해상도는 상대적으로 높게 촬영되어야 한다.

도 2는 본 발명의 일 실시예에 따른 디지털 콘텐츠를 녹화하여 3D 영상을 생성하는 장치의 구성도이다.

도 2를 참조하면, 본 실시예에 따른 3D 영상을 생성하는 장치는 마스터 장치(200), 서버(210), 및 슬레이브 장치(220)로 구성된다.

마스터 장치(200)는 계산부(201), 송신부(202), 수신부(203), 및 3D 영상 생성부(204)로 구성된다.

계산부(201)는 관심객체 정보를 상기 관심객체의 캡처된 이미지들과 대비하여 마스터 장치의 현재 위치를 결정한다. 상기 현재 위치 결정은 상기 관심객체 정보와 상기 캡처된 이미지들 간에 경계선 또는 컬러를 비교하여 이루어지는 것이 바람직하다. 또한, 상기 캡처된 이미지에서 상기 슬레이브 장치에 부착된 마커를 검출할 수 있다.

송신부(202)는 상기 복수의 커넥티드 장치들 중 적어도 하나의 슬레이브 장치로 상기 현재 위치, 슬레이브 장치의 보정된 위치, 촬영 방향, 초점 길이, 또는 영상 크기 중 적어도 하나 이상을 포함하는 카메라 촬영조건 정보를 전송한다.

상기 슬레이브 장치의 촬영방향이 상기 현재 위치와 상기 슬레이브 장치의 보정된 위치 사이를 연결하는 촬영방향과 평행하고, 상기 보정된 슬레이브 장치의 위치는 상기 캡처된 이미지들에 기초하여 결정되는 것이 바람직하다.

수신부(203)는 상기 커넥티드 장치들 중 적어도 하나의 슬레이브 장치로부터 상기 전송된 카메라 촬영조건 정보를 이용하여 촬영된 디지털 콘텐츠를 수신한다.

또한, 수신부(203)는 상기 커넥티드 장치들 중 적어도 하나의 슬레이브 장치로부터 머리 또는 트랙킹 정보를 수신할 수 있다.

3D 영상 생성부(204)는 상기 수신된 디지털 콘텐츠를 이용하여 3D 영상을 생성한다.

서버(210)는 이벤트 정보 생성부(211), 송신부(212), 수신부(213), 및 3D 영상 생성부(214)로 구성된다.

이벤트 정보 생성부(211)는 디지털 콘텐츠를 저장하기 위한 이동 경로 및 타겟 오브젝트 정보를 포함하는 영상 촬영 이벤트 정보를 생성한다.

송신부(212)는 상기 영상 촬영 이벤트 정보를 마스터 장치로 전송하고, 관심객체의 3D 좌표와 컬러 정보를 포함하는 관심객체 정보를 상기 마스터 장치로 전송한다.

송신부(212)는 마스터 장치의 현재 위치 및 상기 커넥티드 장치들의 보정된 위치를 계산한 결과와 카메라 촬영조건 정보를 마스터 장치로 전송할 수 있다.

상기 카메라 촬영조건 정보는 상기 커넥티드 장치들 중 적어도 하나의 슬레이브 장치로 상기 현재 위치, 슬레이브 장치의 보정된 위치, 촬영 방향, 초점 길이, 또는 영상크기 중 적어도 하나 이상을 포함할 수 있다.

상기 초점 길이의 촬영방향은 상기 보정된 위치와 상기 타겟 오브젝트 위치 사이를 연결하는 촬영방향과 평행한 것이 바람직하다.

또한, 상기 캡처된 이미지들의 촬영 방향은 상기 타겟 오브젝트의 위치와 커넥티드 장치들 중 적어도 하나의 위치 사이를 연결하는 촬영 방향과 평행한 것이 바람직하다.

수신부(213)는 상기 마스터 장치에 의해 전달되는 커넥티드 장치들의 캡처 이미지들을 수신하고, 상기 커넥티드 장치에서 상기 카메라 촬영조건 정보를 이용하여 촬영한 영상을 수신한다.

3D 영상 생성부(214)는 상기 수신된 디지털 콘텐츠를 이용하여 3D 영상을 생성한다. 실시간 3D 영상을 생성하는 경우, 복수의 커넥티드 장치들로부터 수신한 디지털 컨텐츠와 관심객체의 3D 정보를 이용하여, 마스터 장치(200)에서 실시간 3D 영상생성도 가능하다.

오버랩되는 영역을 갖는 캡처 이미지들 사이에 보간평면(fitting plane)을 결정하고, 상기 관심객체 정보에 기초하여 같은 프레임 크기를 갖도록 하여 3D 영상을 생성하는 것이 바람직하다.

슬레이브 장치(220)는 수신부(221), 촬영부(222), 인터페이스부(223), 디스플레이부(224), 송신부(225)를 포함하여 구성된다.

수신부(221)는 상기 마스터 장치로부터 슬레이브 장치의 현재 보정된 위치, 상기 타겟 오브젝트의 위치, 촬영 방향, 초점 길이, 또는 영상크기 중 적어도 하나 이상을 포함하는 카메라 촬영조건 정보를 수신한다.

상기 현재 보정된 위치는 상기 캡처 이미지에 있는 타겟 오브젝트 위치 또는 관심객체 위치를 고려하여 결정된다.

상기 촬영 방향은 상기 타겟 오브젝트의 위치와 상기 현재 보정된 위치를 연결하는 선과 평행하고, 상기 초점 길이는 상기 타겟 오브젝트 위치와 상기 보정된 현재 위치 간의 거리에 따라 결정되는 것이 바람직하다. 상기 디지털 콘텐츠의 해상도는 초점 길이에 따라 결정될 수 있다.

촬영부(222)는 상기 수신된 카메라 촬영조건 정보를 고려하여 디지털 콘텐츠를 생성한다.

사용자의 머리 또는 눈 트랙킹 정보에 따른 인터페이스 콘텐츠를 디스플레이하고, 상기 디스플레이된 인터페이스 콘텐츠에 따라 상기 디지털 콘텐츠를 녹화하는 것이 바람직하다.

인터페이스부(223)는 사용자의 반응 및 피드백 정보를 수집한다.

디스플레이부(224)는 증강현실(AR)/가상현실(VR)/3D 아바타/네비게이션 정보 정보 등의 디스플레이 정보를 출력한다.

송신부(225)는 타겟 오브젝트 또는 관심객체를 포함한 캡처 이미지를 마스터 장치로 전송한다. 또한, 송신부(225)는 상기 생성된 디지털 콘텐츠를 상기 마스터 장치로 전송한다.

상기 캡처 이미지는 상기 타겟 오브젝트를 검출하는 마커를 포함할 수 있다.

도 3은 동일한 촬영 시야(FOV)를 유지하면서, 대상물을 촬영하는 경우 초점 거리와 촬영 각도(AOV)의 변화를 나타낸 것이다.

이미지의 해상도는 이미지 센서의 센서 폭(sensor-width)에 의해 결정되며, 이미지의 촬영 각도(anagle of view)는 수학식 2와 같이 계산된다.

도 3를 참조하면, 동일한 촬영 시야를 유지하면서, 먼거리에 있는 대상물을 촬영하는 경우에는 초점 거리는 길어져야 하고, 보다 높은 해상도의 이미지로 촬영되어야 한다. 도 3에서는 27mm 초점 거리로 촬영된 이미지이며, 센서 폭이 큰 것을 확인할 수 있다.

예를 들면, 마스터 장치 차량(100)과 모바일 장치 사이의 거리가 가까운 경우, 상대적으로 모바일 장치와 촬영 대상물과 거리가 멀어지므로, 동일한 촬영 시야를 유지하기 위해서 초점 거리는 길게, 해상도는 높게 촬영한다. 반대로 모바일 장치와 촬영대상물과의 거리가 가까운 경우, 상대적으로 초점 거리는 짧게, 해상도도 낮게 적용하여 촬영한다.

도 4은 커넥티드 장치들 간에 용이한 인식에 사용되는 컬러 마커의 예를 도시한 것이다.

다수의 영상을 접합하는 경우, 동일한 촬영조건으로 영상의 밝기값을 조절하기 위한 화이트 밸런스 과정이 필요하다. 화이트 밸런스는 광원에 밝기에 따른 색상 조절 및 광원의 온도에 따른 색상 조절로 나누어서 진행하는 것이 바람직하다.

화이트 밸런스 수행을 위해, 추출하는 주요 색상으로는 레드/그린/블루/옐로우/마젠타/시안/그레이 컬러 등이 있다. 따라서 화이트 밸런스에 사용되는 주요색으로 구성된 컬러 매트릭스를 구성하고, 해당 컬러 매트릭스를 커넥티드 장치에 부착하는 경우, 용이하게 커넥티드 장치들을 인식하여 위치 계산이 가능하고, 인식된 방향으로 촬영방향을 결정할 수 있다.

또한 영상에서 인식된 컬러 마커값을 이용하여 화이트 밸런스 수행도 가능하다. 화이트 밸런스 수행 원리는 컬러 마커에 존재하는 주요 색상의 실제 R/G/B 값과 촬영 영상 마커의 주요색상의 R/G/B 값을 비교하여 조정하는 것이다.

도 4(a)와 도 4(b)를 참조하면, 컬러 마커의 참조 컬러로서 기본컬러 R1, R2, 및 R3가 표시되어 있고, 코드 컬러로서 C1 내지 C6이 도시되어 있다.

다수의 장치가 동일한 컬러 마커를 사용하므로, 컬러 마커를 장치의 고유한 하드웨어 ID 로 사용될 수 없다. 따라서 장치의 하드웨어 고유 ID 및 하드웨어의 카메라 스펙 등을 고려하여, 컬러 마커의 컬러 코드값을 재구성하는 것이 바람직하다.

도 4(c)와 같이 컬러 마커의 매트릭스 차원(4*4)과 동일하게 여러 합성 행렬층을 구성하고, 장치의 하드웨어 고유 ID 및 하드웨어 스펙, 기타 정보를 고려, 각각의 합성 행렬층 정보를 구성하고, 도 4(a)에서 사용한 컬러 매트릭스값과 행렬곱 또는 행렬의 합을 계산하여, 고유한 가상의 컬러 마커값을 생성할 수 있다.

따라서 장치의 카메라에서 주변 기기를 인식하는 경우, 하드웨어의 고유 ID 로 인식하거나, 가상의 컬러 마커값으로 인식할 수 있다. 예를 들어, 컬러 마커를 인식하면, 장치들은 위치 계산을 위한 정보를 송수신하게 된다. 이때, 수신되는 하드웨어 고유 ID 값을 이용하여, 가상의 컬러 마커값을 추출하므로, 타겟 오브젝트 또는 마스터 장치 차량(100)을 가상 컬러 마커를 이용하여 인식 가능하다.

도 5는 본 발명의 다른 실시 예에 따른 디지털 콘텐츠 녹화을 위해 다수의 차량과 다수의 모바일 장치간에 무선 연결된 상태를 도시한 것이다.

가상 머신 또는 허브 장치(520)는 여러 가상 머신 중에서 특정 이벤트 수행을 위해서 연결된 서버인 것이 바람직하다. 가상 머신 또는 허브 장치(520)는 3D 디지털 콘텐츠를 저장하기 위한 영상 촬영 이벤트 정보, 정밀맵 및 관심객체와 관련된 3D 위치 정보(3d points) 및 컬러 정보를 포함하는 관심객체 정보를 저장하고 관리한다.

또한 영상 촬영 이벤트 정보는 차량 마스터 장치(510)에 송신된다. 또한 모바일 마스터 장치(530, 540)에 동시에 송신되도록 설정 가능하다. 효과적인 네트워크 데이터 전송을 위해, 차량 마스터 장치(510)와 가상머신(520), 차량 마스터 장치(510)와 모바일 마스터 장치(530), 그리고 차량 마스터 장치(510)와 모바일 마스터 장치(540) 사이에 통신이 이루어진다.

또한, 차량 마스터 장치(510)는 주변 슬레이브 차량 장치(512, 512, 513, 514, 515)에 필요한 정보를 송신하거나 수집된 정보를 가상머신(520)에 전달한다. 모바일 마스터 장치(530, 540)는 주변 모바일 슬레이브 장치(531, 532, 541, 542)가 필요한 정보를 송신하거나, 수신된 정보를 차량 마스터 장치(510)에 전달한다.

이때, 모든 차량 및 모바일 장치에 장착된 카메라 이용하여 동시에 영상을 녹화하고, 녹화된 영상을 가상머신(520)으로 전달하여 3D 영상 데이터를 효과적으로 생성할 수 있다. 이 때 모든 모바일 장치에 장착된 카메라의 촬영방향은 차량 마스터 장치(510)에 장착된 카메라와 같은 촬영방향이 생성되는 것이 바람직하다. 또한 서로 동일한 촬영 시야 및 일정 해상도를 만족하는 이미지를 추출하기 위해 주변 슬레이브 차량 장치(511, 512, 513, 514, 515)는 차량 마스터 장치(510)와의 거리차를 반영하여, 주변 대상물을 촬영하기 위한 초점거리를 조절하고, 이에 따른 해상도를 조절하여 이미지를 생성한다.

모바일 마스터 장치(530, 540) 및 주변 모바일 슬레이브 장치(531, 532, 541, 542)도 차량 마스터 장치(510)와의 거리를 반영하여 모바일 장치에서 취득한 이미지가 동일한 촬영 시야와 일정 해상도를 만족할 수 있도록 초점거리를 조절하고, 이에 따른 이미지 해상도를 조절하는 것이 바람직하다.

이러한 초점거리의 조정은 차량 마스터 장치(510)로 전달된 주변 슬레이브 차량 장치(511, 512, 513, 514, 515)에서 촬영된 영상 및 위치 정보를 통해 계산할 수 있다. 주변 슬레이브 차량 장치(511, 512, 513, 514, 515)가 차량 마스터 장치(510)로 전송한 이미지에 관심객체가 포함되면, 주변 슬레이브 차량 장치(511, 512, 513, 514, 515)와 차량 마스터 장치(510)는 동일한 촬영방향에 존재한다고 판단할 수 있다. 또한, 차량 마스터 장치(510)와 주변 슬레이브 차량 장치(511, 512, 513, 514, 515) 및 관심객체는 네트워크 상의 위치 정보가 계산될 수 잇다.

이때, 차량 마스터 장치(510)는 자신의 위치 정보 및 DB에 저장된 도로 정밀 도로맵과 관심객체에 대한 3D 위치 정보와 이미지 컬러 정보를 이용함으로써, 정확한 주변 슬레이브 차량 장치(511, 512, 513, 514, 515)의 위치 계산이 가능하다. 따라서, 차량 마스터 장치(510)는 주변 슬레이브 차량 장치(511, 512, 513, 514, 515)의 영상 촬영을 위한 카메라 촬영조건 정보에 초점거리, 이미지 해상도, 차량 마스터 장치(510) 위치, 및 주변 슬레이브 차량 장치(511, 512, 513, 514, 515) 위치 정보 등을 포함하여 제공할 수 있다.

본 발명의 다른 실시예로서, 다수의 차량 마스터 장치가 존재하는 경우를 살펴보기로 한다.

도 5에서는 하나의 차량 마스터 장치(510)를 가정하였지만, 차량 마스터 장치가 여러 개 있는 경우를 가정하면, 각 차량 마스터 장치를 기준으로 여러 서브 차량 그룹을 설정하고, 각 서브 차량 그룹마다 서브 차량 그룹 마스터 장치를 설정할 수 있다.

모바일 장치 그룹도 서브 모바일 그룹의 수만큼 모바일 장치들을 그룹핑할 수 있다. 이 때, 각 서브 모바일 그룹의 서브 모바일 그룹 마스터 장치를 선정하여, 그룹의 데이터를 효과적으로 송수신을 제어할 수 있다.

각 서브 모바일 그룹들(서브 모바일 그룹 및 서브 차량 그룹 포함)은 서브 차량 그룹 마스터 장치 또는 서브 모바일 그룹 마스터 장치의 촬영방향을 기준으로 이미지가 촬영될 수 있도록, 카메라 촬영조건 정보를 서브 차량 그룹 마스터 장치 또는 서브 모바일 그룹 마스터 장치로부터 수신하는 것이 바람직하다.

본 발명에 따른 또 다른 실시예로서, 가상머신 또는 허브 디바이스(520)가 카메라 촬영조건 정보를 각 각 서브 모바일 그룹들과 송수신할 수 있다.

도 5에서는 차량/모바일 그룹은 차량 마스터 장치(510)/모바일 마스터 장치(530, 540)를 통해 카메라 촬영조건 정보를 송수신한다. 그러나 차량 마스터 장치(510) 선정없이, 모든 장치에 필요한 카메라 촬영조건 정보의 송수신을 가상머신 또는 허브 디바이스(520)를 통해서도 가능하다.

이러한 경우, 가상머신 또는 허브 디바이스(520)가 네트워크에 연결된 기기들의 위치 계산과 장치들의 이미지 촬영을 위한 카메라 촬영조건 정보를 제공하게 된다.

또한 3D 영상을 제작하기 위해서는, 타겟 오브젝트 또는 타겟 장치의 촬영방향을 기준으로 촬영되어야 한다. 따라서 가상머신 또는 허브 디바이스(520)는 타겟 오브젝트 또는 타겟 장치를 기준으로 차량 또는 모바일 장치를 그룹핑하고, 그룹별 타겟 오브젝트 위치 또는 타겟 장치 위치와 마커 정보를 이용하여 타겟 오브젝트 또는 타겟 장치의 촬영방향을 반영한 영상을 가상머신 또는 허브 디바이스(520)에 제공한다. 가상머신 또는 허브 디바이스(520)는 수신된 영상과 관심객체 정보를 이용하여 차량 또는 모바일 장치들의 위치를 계산할 수 있다.

따라서 가상머신 또는 허브 디바이스(520)는 동일 그룹에 포함된 차량 또는 모바일 장치들과 타겟 오브젝트 또는 타겟 장치의 거리를 반영하여, 차량 또는 모바일 장치들의 영상 촬영을 위한 초점거리 및 해상도를 정보를 포함한 카메라 촬영조건 정보를 제공할 수 있다.

도 6은 촬영된 영상을 3D 영상으로 가공하기 위해 다수의 영상을 접합(stitching) 하는 예를 도시한 것이다.

도 6을 참조하면, 각각의 촬영된 이미지에서 촬영 시야가 동일한 이미지들을 그룹으로 분류한다. 분류된 그룹별로 초점 좌표과 촬영방향을 이용하여 중복영역을 갖는 이미지들을 파노라마 이미지 형태로 배치한다. 이렇게 배치된 이미지를 접합하여 타일 이미지로 생성한다.

또한 타일 이미지들을 접합하기 위해 가상 카메라 초점을 이용하여 다수의 타일 이미지들을 재접합할 수 있다. 이 때 사용되는 가상 카메라 초점은 차량 마스터 장치(410), 타겟 디바이스, 또는 타겟 오브젝트의 이동 경로(travel path)이거나, 서브 차량 그룹 마스터 장치, 서브 모바일 그룹 마스터 장치, 서브 타겟 디바이스, 또는 서브 타겟 오브젝트의 이동 경로일 수 있다.

중복영역을 갖는 중복영상은 동일한 관심객체에 대해서 동일한 3D 좌표를 이용하여 접합한다. 그러나 다수의 초점을 기준으로 촬영된 이미지들 사이에는 시차(parallex)가 발생하므로, 스테레오 이미지에서 동일한 관심객체가 동일 이미지 평면상에 존재하지 않는다. 따라서 인접 영상간의 중복 영상 영역에 존재하는 3D 좌표를 이용하여, 스테레오 이미지 사이의 보간 평면(fitting plane)을 형성해야 한다. 이때, 보간 평면은 사용된 3D 좌표값의 조정값이 최소화된 경우의 평면으로 선정하는 것이 바람직하다.

도 7은 본 발명의 바람직한 일 실시 예에 따른 커넥티드 장치들 중 슬레이브 장치에서 디지털 콘텐츠를 녹화하는 방법의 흐름도이다.

도 7을 참조하면, 본 실시 예에 따른 디지털 콘텐츠를 녹화하는 방법은 도 2에 도시된 디지털 콘텐츠를 녹화하는 슬레이브 장치에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 2에 도시된 디지털 콘텐츠를 녹화하는 슬레이브 장치에 관하여 이상에서 기술된 내용은 본 실시 예에 따른 디지털 콘텐츠를 녹화하는 방법에도 적용된다.

도 7은 커넥티드 장치들 중 슬레이브 장치에서 마스터 장치 또는 타겟 오브젝트의 촬영방향을 기준으로 영상 정보를 생성하는 과정을 나타낸 것이다.

710 단계에서 디지털 콘텐츠를 녹화하는 슬레이브 장치는 영상 촬영 이벤트 정보를 마스터 장치(200)부터 수신한다. 상기 영상 촬영 이벤트는 허브 디바이스와 같은 서버로부터 수신될 수 있다.

효율적인 네트워크 통신을 위해서 마스터 장치(200) 중심으로 통신이 제어되며, 주변 커넥티드 장치들을 서브 그룹으로 나눈 후, 각 서브 그룹의 서브 마스터 장치를 선정하여, 주변 모바일 장치들과의 통신을 제어할 수 있다.

720 단계에서 디지털 콘텐츠를 녹화하는 슬레이브 장치는 물리적 마커를 확인하여 마스터 장치를 탐지한다. 슬레이브 장치와 마스터 장치간에 시야가 확보되어야 3D 이미지 제작이 가능하므로, 장치 사이에 효과적으로 이미지를 인식하기 위해서, 장치 상에 존재하는 마커 정보를 인식한 후, 이미지 생성을 진행할 수 있도록 하는 것이 바람직하다.

730 단계에서 디지털 콘텐츠를 녹화하는 슬레이브 장치는 마스터 장치의 위치정보를 반영하여 촬영한 전방/후방/측면 영상을 마스터 장치로 송신한다.

740 단계에서 마스터 장치는 상기 슬레이브 장치가 촬영한 전방/후방/측면 영상을 이용하여 마스터 장치 위치, DB 저장된 관심객체 정보에 포함된 3D 좌표 정보, 영상의 컬러 정보, 및 정밀 도로맵을 이용하여 슬레이브 장치의 위치정보를 계산한다.

마스터 장치와 슬레이브 장치의 각 장치들의 위치를 참조하여 삼각측량 방법으로 보정된 슬레이브 장치의 좌표를 계산할 수 있다. 이러한 슬레이브 장치의 위치 계산과 영상 촬영을 위한 카메라 촬영조건 정보 전송은 시스템 구성에 따라, 마스터 장치, 서브 마스터 장치, 또는 허브 디바이스에서 수행될 수 있다.

또한 마스터 장치는 계산된 슬레이브 장치 위치 좌표를 이용하여 마스터 장치와 슬레이브 장치 간의 거리 정보를 계산할 수 있다. 마스터 장치는 슬레이브 장치들이 동일한 촬영 시야 및 프레임 크기의 영상을 생성할 수 있도록 요구되는 초점거리 정보 및 영상 크기를 포함한 카메라 촬영조건 정보를 슬레이브 장치로 제공할 수 있다. 상기 영상 크기는 마스터 장치와 슬레이브 장치 간의 거리를 고려하여 결정되며, 마스터 장치는 복수의 커넥티드 장치들을 디지털 콘텐츠 생성 그룹별로 나누고, 그룹별로 동일한 영상 크기를 갖도록 설정할 수 있다.

상기 카메라 촬영조건 정보의 초점거리 및 촬영 이미지 해상도를 계산하는 정보는 슬레이브 장치에서 수행될 수도 있다. 슬레이브 장치에서 마스터 장치 위치 및 슬레이브 장치 위치와 촬영 대상과의 거리정보를 이용하여 초점거리 및 촬영 이미지 해상도를 계산할 수 있다.

750 단계에서 디지털 콘텐츠를 녹화하는 슬레이브 장치는 슬레이브 장치의 위치 보정(corrected position) 정보와 카메라 촬영조건 정보를 마스터 장치 또는 서브 마스터 장치로부터 수신한다.

760 단계에서 디지털 콘텐츠를 녹화하는 슬레이브 장치는 마스터 장치에 부착된 마커를 인식하여 촬영방향을 결정한다.

따라서 마커를 통해 인식된 마스터 장치의 위치정보를 기반으로, 효과적인 이미지 촬영 방향각을 슬레이브 장치에서 자동으로 변경할 수 있다.

770 단계에서 디지털 콘텐츠를 녹화하는 슬레이브 장치는 사용자가 마스터 장치의 위치를 고려하여, 카메라 촬영방향을 결정하는 경우에는, 인식된 마스터 장치의 마커 정보를 이용하여 사용자에게 바람직한 카메라 촬영 방향을 디스플레이에 표시할 수 있다.

또한, 디지털 콘텐츠를 녹화하는 슬레이브 장치는 사용자의 머리/눈 움직임 정보를 획득할 수 있다. 사용자 반응 및 피드백 정보를 효과적으로 수집하기 위해서, 슬레이브 장치는 사용자의 머리 또는 눈 움직임 정보를 모니터링 할 수 있다. 머리와 눈을 효과적으로 트랙킹하기 위해서, 머리나 눈 움직임의 이미지를 분석하는 방법 및 광원을 이용하여 눈의 홍채의 움직임 변화로 발생하는 글린트(glint)를 측정함으로써 효과적으로 눈 움직임 트랙킹이 가능하다.

또한 슬레이브 장치에 디스플레이되는 정보는 효과적인 사용자 인식을 위해서 증강현실(AR)/가상현실(VR)/네비게이션 정보가 될 수 있고, 마스터 장치나 주요 관심객체는 특정 3D 객체 및 아바타 형태로 제공되어 디스플레이될 수 있다.

780 단계에서 디지털 콘텐츠를 녹화하는 슬레이브 장치는 결정된 촬영방향으로 디지털 콘텐츠를 생성한다.

790 단계에서 디지털 콘텐츠를 녹화하는 슬레이브 장치는 촬영된 디지털 콘텐츠를 마스터 장치로 전송한다.

이때, 도 5를 참조하면, 모바일 마스터 장치(530, 540)을 거쳐서 차량 마스터 장치(510)로 전송될 수 있다. 이러한 데이터의 송수신은 시스템 구성에 따라, 마스터 장치 또는 서브 마스터 장치를 거쳐서 가상머신 또는 허브 디바이스(520)로 전달된다. 또한 중간 네트워크 노드를 거치지 않고, 가상머신 또는 허브 디바이스(520)로 바로 전송될 수 있다.

도 8은 본 발명의 바람직한 일 실시 예에 따른 커넥티드 장치들 중 마스터 장치에서 3D 영상을 생성하는 방법의 흐름도이다.

도 8을 참조하면, 본 실시 예에 따른 3D 영상을 생성하는 방법은 도 2에 도시된 3D 영상을 생성하는 마스터 장치에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 2에 도시된 3D 영상을 생성하는 마스터 장치에 관하여 이상에서 기술된 내용은 본 실시 예에 따른 3D 영상을 생성하는 방법에도 적용된다.

810 단계에서 3D 영상을 생성하는 마스터 장치는 영상 촬영 이벤트 정보를 서버(210)로부터 수신한다.

수신된 영상 촬영 이벤트 정보는 네트워크로 연결된 주변 슬레이브 차량 장치 또는 주변 모바일 슬레이브 장치로 재송신된다. 또한 영상 촬영 이벤트 정보와 함께 위치보정을 위한 주변 도로의 정밀맵, 주요 관심객체의 3D 좌표 정보, 컬러 정보, 관심객체 정보(reference landmark information)를 서버(210)로부터 수신할 수 있다. 한편, 마스터 장치는 차량 또는 모바일 장치가 될 수 있으며, 차량 마스터 장치는 통신 기능이 있는 모바일 장치로 대체될 수 있다.

한편, 3D 영상을 생성하는 마스터 장치(200)는 주변 슬레이브 차량 장치 또는 주변 모바일 슬레이브 장치와 네트워크로 연결한다. 이때, 연결된 모든 슬레이브 장치들은 마스터 장치(200)의 카메라와 촬영방향이 동일하게 이미지 촬영이 가능해야 한다.

촬영된 영상에서 이미지 기법을 이용, 마스터 장치에 표시된 마커 정보를 인식하여 기기들 사이의 인식을 효과적으로 수행할 수 있다. 따라서 네트워크 상으로 마스터 장치(200)와 연결된 장치이면서, 마스터 장치(200)의 마커를 인식하는 장치에 한해 추가적인 영상 촬영 단계를 진행할 수 있다.

820 단계에서 3D 영상을 생성하는 마스터 장치는 슬레이브 장치로 상기 수신한 영상 촬영 이벤트 정보를 송신한다.

830 단계에서 3D 영상을 생성하는 마스터 장치는 슬레이브 장치로부터 전방, 후방, 측방 중 적어도 하나 이상의 영상을 수신한다.

840 단계에서 3D 영상을 생성하는 마스터 장치는 수집한 영상정보 및 라이다(Lidar)를 이용하여 수집된 3D 좌표 정보와 관심객체 정보(reference landmark information)를 비교하여 마스터 장치의 현재 위치를 계산한다.

또한 마스터 장치는 830 단계에서 수신한 슬레이브 장치에서 차량 마스터 장치를 인식하여 촬영한 영상을 수신하여, 슬레이브 장치의 위치도 계산한다.

마스터 장치에서 촬영한 영상 또는 슬레이브 장치에 촬영한 영상을 바탕으로 슬레이브 장치의 위치를 보정하는 것이 바람직하다. 특히 복수의 슬레이브 장치와 마스터 장치 간의 인식은 마커를 통해 인식 가능하며, 마스터 장치의 위치정보를 기준으로, 마커로 인식된 슬레이브 장치의 절대적인 방향각을 결정할 수 있다.

840 단계는 시스템 구성에 따라 마스터 장치(200)에서 수행되거나 서버(210)에서 수행될 수 있다. 서버(210)에서 위치 결정 및 상기 카메라 촬영조건 정보를 생성하는 경우, 마스터 장치 또는 슬레이브 차량 장치는 수집한 영상정보 및 라이다(Lidar) 정보를 서버(210)로 실시간 송신해야 한다.

850 단계에서 3D 영상을 생성하는 마스터 장치는 슬레이브 장치의 보정된 위치 정보 및 카메라 촬영조건 정보를 전송한다. 해당 정보의 전송은 모든 슬레이브 장치에게 전송되거나, 특정 모바일 마스터 장치에만 전송될 수 있다.

슬레이브 장치들이 동일한 촬영 시야 및 프레임 크기를 갖는 영상을 촬영할 수 있도록, 초점거리 및 이미지 해상도 정보, 각각의 슬레이브 장치의 위치정보, 및 마스터 장치의 위치정보를 포함한 카메라 촬영조건 정보를 각각의 슬레이브 장치에 송신하는 것이 바람직하다.

이러한 카메라 촬영조건 정보의 초점거리 및 이미지 해상도 정보는 마스터 장치와 슬레이브 장치의 위치정보를 이용하여 슬레이브 장치에서도 계산 가능하며, 초점거리 정보는 마스터 장치와 슬레이브 장치 간의 거리차에 따라 결정되는 정보이다.

상기 거리차가 작을수록, 상대적으로 촬영대상물과의 거리가 멀어지고 초점거리는 길어지므로 고해상도 이미지를 생성할 필요가 있다. 반대의 경우는 상기 거리차가 커질수록, 상대적으로 촬영 대상물과 슬레이브 장치의 거리가 가까워지므로, 초점 거리가 짧은 저해상도 이미지를 생성하는 것이 효과적이다.

860 단계에서 3D 영상을 생성하는 마스터 장치가 슬레이브 장치에 디스플레이 정보를 전송한다. 마스터 장치는 슬레이브 장치의 위치 및 슬레이브 장치 사용자의 반응 및 피드백 정보를 수집하기 위해서, 다양한 디스플레이 정보를 보낼 수 있다. 이러한 디스플레이 정보는 증강현실(AR)/가상현실(VR)/3D 아바타/네비게이션 정보 정보 등을 포함할 수 있다. 또한 슬레이브 장치 사용자의 반응정보 수집하여, 특정 슬레이브 장치에 필요한 정보를 선택적으로 보낼 수 있다. 슬레이브 장치로부터 머리 또는 눈 트랙킹 결과를 수집하고, 분석한 결과에 상응하는 추가정보를 특정 슬레이브 장치에 송신할 수 있다.

870 단계에서 3D 영상을 생성하는 마스터 장치는 슬레이브 장치로부터 영상 정보를 수신한다. 도 5를 참조하면, 차량 마스터 장치(510)를 거치지 않고 가상머신 또는 허브 디바이스(520)로 바로 전송될 수도 있다.

880 단계에서 3D 영상을 생성하는 마스터 장치는 가상 카메라 촬영방향을 설정한다.

890 단계에서 3D 영상을 생성하는 마스터 장치는 수신된 영상을 이용하여 3D 영상을 생성한다.

도 9는 본 발명의 바람직한 일 실시 예에 따른 커넥티드 장치들 중 서버에서 3D 영상을 생성하는 방법의 흐름도이다.

도 9를 참조하면, 본 실시 예에 따른 3D 영상을 생성하는 방법은 도 2에 도시된 3D 영상을 생성하는 서버에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 2에 도시된 3D 영상을 생성하는 서버에 관하여 이상에서 기술된 내용은 본 실시 예에 따른 3D 영상을 생성하는 방법에도 적용된다.

도 9를 참조하면, 서버(210)가 영상 촬영 이벤트 정보를 처리하고, 3D 영상을 생성하는 과정이 도시되어 있다.

910 단계에서 서버(210)는 영상 이미지 취득을 위한 영상 촬영 이벤트 정보와 관심객체 정보를 마스터 장치(200)로 전송한다. 상기 영상 촬영 이벤트 정보는 영상 촬영을 위한 이동 경로(tavel path)를 포함할 수 있다.

서버(210)는 커넥티드 장치들을 여러 개의 장치 그룹으로 나누고, 각 장치 그룹에서 마스터 장치를 결정한다. 구성 시스템이 다수의 서버들로 구성된 경우에는 특정 서버를 허브 디바이스(520)로 선정할 수 있다.

920 단계에서 마스터 장치(200)는 상기 영상 촬영 이벤트 정보를 슬레이브 장치(220)로 전송한다.

930 단계에서 마스터 장치(200)는 슬레이브 장치(220)로부터 전방, 후방, 또는 측방 중 적어도 하나 이상의 영상을 수신한다.

940 단계에서 서버(210)는 마스터 장치로부터 전방, 후방, 또는 측방 중 적어도 하나 이상의 영상을 수신한다.

서버(210)가 특정 장치 그룹 내의 각각의 장치에서 촬영한 이미지를 분석하여 마스터 장치와 슬레이브 장치를 효과적으로 인식하기 위해 모든 장치들은 물리적 마커 정보를 포함할 수 있다. 동일 그룹으로 지정된 장치들은 마스터 장치의 위치를 파악하여, 마스터 장치의 촬영방향으로 영상을 취득하게 된다.

950 단계에서 서버(210)는 마스터 장치의 현재 위치 및 슬레이브 장치의 보정된 위치를 계산한다. 서버(210)는 수신한 영상정보와 정밀 도로맵 등, 관심객체 정보를 이용하여 모든 장치의 위치정보를 결정할 수 있다.

960 단계에서 서버(210)는 마스터 장치와 슬레이브 장치의 위치정보를 이용하여, 각 장치에서 취득해야 하는 이미지 영상의 초점 거리 및 이미지 해상도 정보가 포함된 카메라 촬영조건 정보와 슬레이브 장치의 보정된 위치를 마스터 장치로 송신한다.

970 단계에서 마스터 장치(200)는 수신한 카메라 촬영조건 정보와 슬레이브 장치의 보정된 위치를 상기 마스터 장치가 속한 그룹에 다시 재전송한다.

975 단계에서 서버(210)는 슬레이브 장치들이 포함된 특정 장치 그룹에 디스플레이되는 정보를 송신한다. 사용자의 반응 및 피드백 신호를 분석하여, 선택된 특정 장치 그룹에 속한 장치에 추가적인 디스플레이 정보를 제공하는 기능이다. 디스플레이 정보는 증강현실(AR)/가상현실(VR)/3D 아바타/네비게이션 정보 등으로 제공될 수 있다.

980 단계에서 서버(210)는 마스터 장치를 거치지 않고, 상기 마스터 장치가 속한 장치 그룹에 포함된 각각의 슬레이브 장치로부터 촬영된 영상을 정보를 수신할 수 있다.

990 단계에서 서버(210)는 타일 이미지를 접합하기 위해 가상 카메라 촬영방향을 선정한다. 이때, 마스터 장치 위치와 서브 마스터 장치 위치를 가상 카메라 촬영방향으로 선정할 수 있다.

995 단계에서 서버(210)는 선정된 가상 카메라 촬영방향을 이용하여 서로 다른 타일 이미지 그룹을 하나의 3D 영상으로 재접합한다. 상기 3D 영상은 파노라마 영상에서 중복도를 갖는 영상 사이에 접합면(fitting plane)을 생성하여 만들 수 있다. 상기 접합면 구성시, 스테레오 영상에서 서로 다른 초점에서 발생하는 시차(parallex)에 의해 동일 객체에 영상 왜곡이 발생한다. 따라서 중복 영역에 존재하는 객체를 대상으로 3D 좌표를 이용하여, 보간(interpolation) 평면을 결정한다.

995 단계에서는 동일한 촬영 시야와 프레임 크기를 갖는 영상간에 접합이 필요하다. 이러한 타일 이미지 그룹은 영상 촬영시, 유사하거나 동일한 조건에서 촬영된 영상으로, 차량 그룹 이미지들과 모바일 그룹 이미지들로 구분되고 동일 영상 그룹내에서 접합을 진행하는 것이 바람직하다. 또한, 동일한 영상 크기를 갖는 영상을 접합하여 3D 영상을 생성하는 것이 바람직하다. 상기 3D 영상 생성은 마스터 장치에서도 가능하다.

본 발명의 또 다른 실시예에 따르면, 각 커넥티드 장치들의 위치 결정 및 카메라 촬영조건 정보 송신을 마스터 장치가 송신하는 것이 아니라 서버(210)가 슬레이브 장치(220)로 직접 전송할 수 있다.

이러한 경우, 서버(210)는 타겟 오브젝트의 정보가 필요하다. 특정 타겟 오브젝트는 네트워크로 연결되어 있고, 물리적 마커를 포함하고 있다. 따라서 모바일 장치가 물리적인 마커 정보로 인식될 수 있는 경우, 다수의 장치에서 상기 모바일 장치를 타겟 오브젝트로 인식할 수 있다. 타겟 오브젝트를 인식한 다수의 장치는 타겟 오브젝트를 기준으로 촬영한 영상을 서버(210)로 송신한다.

상기 영상을 수신한 서버(210)는 수신된 영상 및 관심객체 정보를 이용하여, 타겟 오브젝트 및 슬레이브 장치의 위치값을 계산할 수 있고, 타겟 오브젝트와 슬레이브 장치 사이의 거리차에 따라 슬레이브 장치로 이미지 촬영을 위한 카메라 촬영조건 정보를 전송할 수 있다.

이때, 상기 카메라 촬영조건 정보에는 타겟 오브젝트 위치, 슬레이브 장치 위치 및 타겟 오브젝트와 슬레이브 장치 간의 거리차에 따른 초점거리 및 이미지 해상도 정보가 포함된다.

상기 초점 거리 및 이미지 해상도는 서버(210)가 아닌, 슬레이브 장치에서도 계산될 수 있다. 슬레이브 장치는 마커 인식을 통해, 타겟 오브젝트를 자동으로 인식하고 타겟 오브젝트 위치를 기준으로 이미지 촬영각도를 자동으로 결정할 수 있는 자동화된 기기인 것이 바람직하다. 슬레이브 장치가 사용자에 의해서 이미지 촬영각도가 결정되는 경우에는, 사용자의 효과적인 이미지 촬영을 위한 디스플레이 정보 제공이 필요하다. 이러한 디스플레이 정보는 슬레이브 장치의 촬영 상태에 따라 선택적으로 슬레이브 장치에 제공될 수 있다.

또한 사용자의 반응 및 피드백 신호를 효과적으로 처리하기 디스플레이 정보로 증강현실(AR)/가상현실(VR)/3D 아바타/네비게이션 정보가 제공될 수 있다.

효과적인 디스플레이 정보를 제공하기 위해, 슬레이브 장치에서는 사용자의 머리 또는 눈 움직임을 트랙킹할 수 있다. 상기 트랙킹 정보는 이미지 분석 기법으로 머리 또는 눈 움직임을 분석하거나 광원을 이용하여 눈의 홍채 움직임에 따라 글린트(glint)의 변화를 감지하여 눈 움직임을 파악함으로써 생성될 수 있다. 상기 트랙킹 정보를 근거로 추가적인 디스플레이 정보를 제공할 수 있다.

또한 상기 머리 또는 눈 움직임을 서버(210)에 제공하고, 서버(210)는 수신된 머리 또는 눈 움직임 정보를 이용하여, 효과적인 디스플레이 정보를 선택적으로 특정 슬레이브 장치에 제공할 수 있다.

본 발명의 실시 예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

본 실시 예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field-programmable gate array) 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터,데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.

상술한 모든 기능은 상기 기능을 수행하도록 코딩된 소프트웨어나 프로그램 코드 등에 따른 마이크로프로세서, 제어기, 마이크로제어기, ASIC(Application Specific Integrated Circuit) 등과 같은 프로세서에 의해 수행될 수 있다. 상기 코드의 설계, 개발 및 구현은 본 발명의 설명에 기초하여 당업자에게 자명하다고 할 것이다.

이상 본 발명에 대하여 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시켜 실시할 수 있음을 이해할 수 있을 것이다. 따라서 상술한 실시 예에 한정되지 않고, 본 발명은 이하의 특허청구범위의 범위 내의 모든 실시 예들을 포함한다고 할 것이다.

Claims (17)

1. 적어도 하나 이상의 복수의 커넥티드 장치에서 동일한 타겟 오브젝트 또는 관심객체를 포함한 캡처 이미지를 복수의 커넥티드 장치 중 하나의 장치로 전송하는 단계;
   상기 복수의 커넥티드 장치 중 하나의 장치로부터 현재 장치의 보정된 위치 및 상기 타겟 오브젝트의 위치, 촬영 방향, 영상 크기 또는 초점 길이 정보 중 적어도 하나 이상을 포함하는 카메라 촬영조건 정보를 수신하는 단계;
   상기 수신된 카메라 촬영조건 정보를 고려하여 디지털 콘텐츠를 생성하는 단계; 및
   상기 생성된 디지털 콘텐츠를 상기 복수의 커넥티드 장치 중 하나의 장치로 전송하는 단계를 포함하고,
   상기 현재 장치의 보정된 위치는 상기 캡처 이미지에 있는 타겟 오브젝트 위치 또는 관심객체 위치를 고려하여 결정되고,
   상기 촬영 방향은 상기 타겟 오브젝트의 위치와 상기 현재 장치의 보정된 위치를 연결하는 선과 평행하고, 상기 초점 길이는 상기 타겟 오브젝트 위치와 상기 보정된 현재 위치 간의 거리에 따라 결정되고,
   상기 적어도 하나 이상의 복수의 커넥티드 장치는 상기 촬영조건 정보에 포함된 영상 크기로 디지털 콘텐츠를 생성하는 방법.
2. 제1 항에 있어서,
   상기 캡처 이미지는 상기 타겟 오브젝트를 검출하는 마커를 포함하는 것을 특징으로 하는 디지털 콘텐츠를 생성하는 방법.
3. 제1 항에 있어서,
   상기 디지털 콘텐츠의 해상도는 상기 초점 길이에 따라 결정되는 것을 특징으로 하는 디지털 콘텐츠를 생성하는 방법.
4. 제1 항에 있어서,
   상기 디지털 콘텐츠는 사용자의 머리 또는 눈 트랙킹 정보를 포함하는 것을 특징으로 하는 디지털 콘텐츠생성 방법.
5. 관심객체의 캡처된 이미지를 이용하여 현재 위치를 결정하는 단계;
   복수의 커넥티드 장치들 중 적어도 하나 이상의 커넥티드 장치로 상기 현재 위치 및 상기 하나 이상의 커넥티드 장치의 보정된 위치, 촬영 방향, 영상 크기, 또는 초점 길이 중 적어도 하나 이상을 포함하는 카메라 촬영조건 정보를 전송하는 단계; 및
   상기 복수의 커넥티드 장치들 중 적어도 하나의 이상의 커넥티드 장치로부터 상기 전송된 카메라 촬영조건 정보를 이용하여 동일한 영상 크기로 촬영된 디지털 콘텐츠를 수신하는 단계를 포함하고,
   상기 보정된 위치는 상기 캡처된 이미지들에 기초하여 결정되고,
   상기 촬영방향은 상기 현재 위치와 상기 보정된 위치를 연결하는 연장선과 평행한 것을 특징으로 하는디지털 콘텐츠 생성 방법.
6. 제5 항에 있어서,
   상기 복수의 커넥티드 장치가 그룹별로 분류되어, 서로 다른 영상 크기를 갖는 디지털 컨텐츠를 수신하는 것을 특징으로 하는 디지털 컨텐츠 생성 방법.
7. 제5 항에 있어서,
   상기 캡처된 이미지에서 상기 복수의 커넥티드 장치에 부착된 마커를 검출하는 단계를 더 포함하는 디지털 콘텐츠 생성 방법.
8. 제5 항에 있어서,
   상기 커넥티드 장치들 중 적어도 하나의 커넥티드 장치로부터 머리 또는 눈의 트랙킹 정보를 수신하는 단계를 더 포함하는 디지털 콘텐츠 생성 방법.
9. 디지털 콘텐츠를 저장하기 위한 이동 경로 및 타겟 오브젝트의 정보를 포함하는 영상 촬영 이벤트 정보를 마스터 장치로 전송하는 단계;
   관심 객체의 3D 좌표와 컬러 정보를 포함하는 관심객체 정보를 상기 마스터 장치로 전송하는 단계;
   상기 마스터 장치의 현재 위치 및 커넥티드 장치들의 보정된 위치를 계산하고, 상기 계산 결과와 카메라 촬영조건 정보를 상기 마스터 장치로 전송하는 단계;
   상기 커넥티드 장치들에서 상기 카메라 촬영조건 정보를 이용하여 촬영한 캡처 영상을 상기 마스터 장치를 통해 수신하는 단계; 및
   상기 수신된 디지털 콘텐츠를 이용하여 3D 영상을 생성하는 단계를 포함하고,
   상기 캡처된 이미지들의 촬영 방향은 상기 타겟 오브젝트의 위치와 커넥티드 장치들 중 적어도 하나의 위치를 연결하는 연장선과 평행한 것을 특징으로 하는 컨텐츠 서버의 3D 영상 생성 방법.
10. 제9 항에 있어서,
    상기 카메라 촬영조건 정보는 초점 길이, 영상 크기, 상기 커넥티드 장치들의 보정된 위치, 상기 타겟 오브젝트 위치를 포함하고,
    상기 초점 길이의 정보로 이미지 해상도를 결정하는 것을 특징으로 하는 컨텐츠 서버의 3D 영상생성 방법.
11. 제9 항에 있어서,
    상기 카메라 촬영조건 정보에 포함된 영상 크기에 따라, 상기 수신한 캡처 영상을 서로 다른 그룹으로 분류한 후, 3D 영상을 생성하는 것을 특징하는 콘텐츠 서버의 3D 영상 생성 방법.
12. 제9 항에 있어서,
    상기 카메라 촬영조건 정보에 포함된 영상 크기가 동일한 상기 캡처 영상에 대해서, 오버랩되는 영역에 존재하는 관심 객체의 좌표 정보의 변화가 최소화되도록 캡처 캡처 영상들 사이에 보간평면(fitting plane)을 결정 하는 것을 특징으로 하는 컨텐츠 서버에서 3D 영상 생성 방법.
13. 제9 항에 있어서,
    상기 캡처된 영상들을 연결하는 가상 카메라 위치를 결정하는 단계를 더 포함하는 컨텐츠 서버 3D 영상 생성 방법.
14. 적어도 하나 이상의 복수의 커넥티드 장치에서 동일한 타겟 오브젝트 또는 관심객체를 포함한 캡처 이미지를 복수의 커넥티드 장치 중 하나의 장치로 전송하는 송신부;
    상기 복수의 커넥티드 장치 중 하나의 장치로부터 현재 장치의 보정된 위치, 상기 타겟 오브젝트의 위치, 촬영 방향, 초점 길이, 또는 영상 크기 중 적어도 하나 이상을 포함하는 카메라 촬영조건 정보를 수신하는 수신부; 및
    상기 수신된 카메라 촬영조건 정보를 고려하여 디지털 콘텐츠를 생성하는 촬영부를 포함하고,
    상기 송신부는 상기 생성된 디지털 콘텐츠를 상기 복수의 커넥티드 장치 중 하나의 장치로 전송하고, 상기 현재 장치의 보정된 위치는 상기 캡처 이미지에 있는 타겟 오브젝트 위치 또는 관심객체 위치를 고려하여 결정되고, 상기 촬영 방향은 상기 타겟 오브젝트의 위치와 상기 현재 보정된 위치를 연결하는 선과 평행하고, 상기 초점 길이는 상기 타겟 오브젝트 위치와 상기 보정된 현재 위치 간의 거리에 따라 결정되는 디지털 콘텐츠를 생성하는 커넥티드 장치.
15. 관심객체의 캡처된 이미지를 이용하여 현재 위치를 결정하는 계산부;
    복수의 커넥티드 장치들 중 적어도 하나 이상의 커넥티드 장치로 상기 현재 위치, 상기 하나 이상의 커넥티드 장치의 보정된 위치, 촬영 방향, 초점 길이또는 영상 크기 중 적어도 하나 이상을 포함하는 카메라 촬영조건 정보를 전송하는 송신부;
    상기 복수의 커넥티드 장치들 중 적어도 하나의 커넥티드 장치로부터 상기 카메라 촬영조건 정보를 이용하여 생성된 디지털 콘텐츠를 수신하는 수신부; 및
    상기 현재 위치 결정은 상기 관심객체 정보와 상기 캡처된 이미지 간에 경계선 또는 컬러를 비교하여 이루어지고, 상기 촬영방향은 상기 현재 위치와 상기 하나 이상의 커넥티드 장치의 보정된 위치를 연결하는 연장선과 평행하고, 상기 하나 이상의 커넥티드 장치의 보정된 위치는 상기 캡처된 이미지들에 기초하여 결정되는 것을 특징으로 하는 디지털 콘텐츠를 생성하는 마스터 장치.
16. 디지털 콘텐츠를 저장하기 위한 이동 경로 및 타겟 오브젝트 정보를 포함하는 영상 촬영 이벤트 정보를 생성하는 이벤트 정보 생성부;
    상기 영상 촬영 이벤트 정보를 마스터 장치로 전송하고, 관심 객체의 3D 좌표와 컬러 정보를 포함하는 관심객체 정보를 상기 마스터 장치로 전송하고, 상기 마스터 장치의 현재 위치 및 커넥티드 장치들의 보정된 위치를 계산하고, 상기 계산 결과와 카메라 촬영조건 정보를 전송하는 송신부;
    상기 커넥티드 장치들에서 카메라 촬영조건 정보를 이용하여 생성된 캡처 이미지들을 상기 마스터 장치를 통해 수신하는 수신부; 및
    상기 카메라 촬영조건 정보에 포함된 영상 크기 정보를 이용하여, 상기 수신된 디지털 콘텐츠를 디지털 콘텐츠별로 그룹핑하여 3D 영상을 생성하는 3D 영상 생성부를 포함하고,
    상기 캡처된 이미지들의 촬영 방향은 상기 타겟 오브젝트의 위치와 상기 커넥티드 장치들 중 적어도 하나의 위치를 연결하는 연장선과 평행한 것을 특징으로 하는 3D 영상을 생성하는 서버.
17. 제1 항 내지 제13 항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.

Images