KR101806840B1 - 다수의 카메라를 이용한 고해상도 ３６０도 동영상 생성 시스템 - Google Patents

다수의 카메라를 이용한 고해상도 ３６０도 동영상 생성 시스템 Download PDF

Info

Publication number
KR101806840B1
KR101806840B1 KR1020160171616A KR20160171616A KR101806840B1 KR 101806840 B1 KR101806840 B1 KR 101806840B1 KR 1020160171616 A KR1020160171616 A KR 1020160171616A KR 20160171616 A KR20160171616 A KR 20160171616A KR 101806840 B1 KR101806840 B1 KR 101806840B1
Authority
KR
South Korea
Prior art keywords
matching
image
camera modules
generating unit
embedded boards
Prior art date
Application number
KR1020160171616A
Other languages
English (en)
Inventor
전경구
정진욱
Original Assignee
인천대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인천대학교 산학협력단 filed Critical 인천대학교 산학협력단
Priority to KR1020160171616A priority Critical patent/KR101806840B1/ko
Application granted granted Critical
Publication of KR101806840B1 publication Critical patent/KR101806840B1/ko

Links

Images

Classifications

    • H04N5/247—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H04N5/2257—
    • H04N5/23206—
    • H04N5/23238—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 다수의 카메라를 이용한 고해상도 360도 동영상 생성 시스템에 관한 것으로서, 본 발명의 동영상 생성 시스템은, 복수의 카메라 모듈; 각각이 상기 복수의 카메라 모듈 중 대응된 복수개의 해당 카메라 모듈들을 제어하는 복수의 임베디드 보드; 및 상기 복수의 임베디드 보드와 네트워크로 연결된 정합 영상 생성부를 포함하고, 상기 복수의 임베디드 보드 각각이 상기 대응된 복수개의 해당 카메라 모듈들로부터의 영상들을 일차적으로 정합하여 해당 압축 동영상 파일을 전송하고, 상기 정합 영상 생성부가 상기 복수의 임베디드 보드로부터 수신한 압축 동영상 파일들을 정합하는 것을 특징으로 한다.

Description

다수의 카메라를 이용한 고해상도 ３６０도 동영상 생성 시스템{High Resolution 360 degree Video Generation System using Multiple Cameras}
본 발명은 동영상 생성 시스템에 관한 것으로서, 특히, 다수의 카메라를 이용하지만 연산량을 감소하고 전송 데이터를 반감하여 실시간으로 고해상도 360도 파노라마 영상을 제공할 수 있는 동영상 생성 시스템에 관한 것이다.
최근 CP+, CES 등의 전시회에서 다양한 IT 업체들이 VR(Virtual Reality)관련 기술들을 선보이면서 VR에 대한 관심이 급증하고 있다. 넓은 화각을 제공하는 실감영상 기술로서 CCTV, 액션캠 등의 분야에서 사용되던 파노라마 기술들은, VR 기기에서 디스플레이 할 수 있는 360도의 현실감 있는 동영상을 제작하기 위해서도 연구되기 시작하였다.
이미 360도 동영상 촬영을 위한 전용기기들이 상용화되기 시작했지만, 광각렌즈를 장착한 소수의 카메라로 영상을 촬영하여 정합하기 때문에 광각 렌즈 사용 시 발생하는 왜곡 현상을 피할 수 없다. 또한, 최근 모바일 기기에 장착되어 출시되는 FHD(Full High-Definition), UHD(Ultra HD) 디스플레이에서 현실감 있는 VR 영상 재생을 위해서는 최소 4K의 해상도가 필요한 반면, 적은 수의 카메라를 이용하는 기존 방식으로는 고성능 카메라를 사용하더라도 고해상도 영상 제작에 한계가 있다. 고해상도 영상을 위한 별도의 전문가용 VR 제작 장비가 존재하지만, 전용 카메라 모듈과 부품을 사용하기 때문에 고가이다. 또한, 이러한 장비들은 대부분 촬영이 끝난 후 후처리 소프트웨어를 이용하여 영상을 정합하기 때문에 촬영과 동시에 영상 확인 및 정합이 불가능하다는 한계를 갖는다.
실시간 파노라마 영상 제작을 위해서는 많은 개선점이 필요하지만 그 중 먼저 선행되어야 하는 것은 정합 방법의 최적화이다. 기존의 영상 정합 방법들은 실시간으로 촬영되는 영상이 아닌 정지 영상 위주였고, 수행 시간보다는 영상의 품질 위주의 연구였기 때문에 실시간 영상 정합에 어려움이 있었다. 기존 기술 중에는 실시간 파노라마 동영상 생성을 위한 소프트웨어 구조를 제안하거나 GPU(Graphics Processing Unit), 파이프라인(pipeline) 구조 변경 등을 이용해 기존의 영상 합성 단계의 방법들의 속도를 개선시킨 사례도 있지만 열 대 이상의 카메라 영상을 실시간 정합하는 데는 어려움이 있다.
따라서, 본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은, 다수의 카메라(예, HD급 일반 화각 카메라 14대)를 이용하여 정합 영상의 해상도를 증가시키되, 임베디드 보드(예, 7개)에서 각각 일차적으로 두 영상을 정합하고 그 결과를 인코딩하고 압축하여 서버로 전송함으로써 전송 데이터 량을 반감하며, 서버의 데이터 처리 장치에서는 반감된 동영상(예, 7개의 정합 영상)에 대하여만 영상을 정합하므로, 실시간으로 고해상도의 360도 파노라마 영상을 제공할 수 있는 동영상 생성 시스템을 제공하는 데 있다.
먼저, 본 발명의 특징을 요약하면, 상기의 목적을 달성하기 위한 본 발명의일면에 따른 동영상 생성 시스템은, 복수의 카메라 모듈; 각각이 상기 복수의 카메라 모듈 중 대응된 복수개의 해당 카메라 모듈들을 제어하는 복수의 임베디드 보드; 및 상기 복수의 임베디드 보드와 네트워크로 연결된 정합 영상 생성부를 포함하고, 상기 복수의 임베디드 보드 각각이 상기 대응된 복수개의 해당 카메라 모듈들로부터의 영상들을 일차적으로 정합하여 해당 압축 동영상 파일을 전송하고, 상기 정합 영상 생성부가 상기 복수의 임베디드 보드로부터 수신한 압축 동영상 파일들을 정합한다.
상기 복수의 카메라 모듈은 360도 촬영 가능하도록 같은 간격으로 원형으로 배치되고, 상기 정합 영상 생성부가 실시간으로 고해상도의 360도 파노라마 영상을 제공한다.
상기 복수의 카메라 모듈은 고정되어 있으며, 특징점 검출과 매칭 없이 미리 계산된 호모그래피 행렬을 이용하여 상기 복수의 임베디드 보드 각각에서의 영상 정합과 상기 정합 영상 생성부에서의 영상 정합이 이루어져 연산을 단순화할 수 있다.
상기 복수의 임베디드 보드 각각은 상기 정합 영상 생성부에서의 정합 시간에 비례하도록 정해지는 시간 동안 압축 동영상 파일들을 메모리에 저장 후 해당 압축 동영상 파일들을 상기 정합 영상 생성부로 전송한다.
그리고, 본 발명의 다른 일면에 따른 파노라마 동영상 생성 방법은, 각각이 상기 복수의 카메라 모듈 중 대응된 복수개의 해당 카메라 모듈들을 제어하는 복수의 임베디드 보드 각각이 상기 대응된 복수개의 해당 카메라 모듈들로부터의 영상들을 일차적으로 정합하여 해당 압축 동영상 파일을 전송하는 단계; 및 상기 복수의 임베디드 보드와 네트워크로 연결된 정합 영상 생성부에서 상기 복수의 임베디드 보드로부터 수신한 압축 동영상 파일들을 정합하는 단계를 포함한다.
본 발명에 따른 동영상 생성 시스템에 따르면, 다수의 카메라(예, HD급 일반 화각 카메라 14대)를 이용하여 정합 영상의 해상도를 증가시키되, 고정된 카메라를 사용하는 경우 호모그래피 매트리스 계산에 요구되는 특징점 검출, 매칭 등의 불필요한 단계를 생략하여 연산을 단순화할 수 있다.
또한, 본 발명에 따른 동영상 생성 시스템에 따르면, 임베디드 보드(예, 7개)에서 각각 일차적으로 두 영상을 정합하고 그 결과를 인코딩하고 압축하여 서버로 전송함으로써 전송 데이터 량을 반감하고 데이터 송수신신의 병목 현상을 방지할 수 있으며, 매 프레임마다 호모그래피 행렬계산, 영상워핑, 블렌딩 등에 의한 연산량의 저감이 가능하고 실시간으로 용이하게 영상 정합이 가능하게 한다.
그리고, 본 발명에 따른 동영상 생성 시스템에 따르면, 서버의 데이터 처리 장치(예, PC(Personal Computer))에서는 반감된 동영상(예, 7개의 정합 영상)에 대하여만 호모그래피 행렬계산, 영상워핑, 블렌딩 처리하여 실시간으로 고해상도의 360도 파노라마 영상을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 멀티 밴드 블렌딩의 피라미드 구조를 나타낸다.
도 2는 촬영 영상의 수와 해상도 간의 관계를 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 360도 파노라마 동영상 생성 시스템(100)을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 각 임베디드 보드에서의 동작을 설명하기 위한 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 정합 영상 생성부(예, PC)에서의 동작을 설명하기 위한 흐름도이다.
도 6은 본 발명에서의 정합 영상 생성부(예, PC)에서의 영상 정합 과정의 개념을 설명하기 위한 도면이다.
도 7은 본 발명에 따른 카메라 모듈들과 임베디드 보드들을 이용한 구현 시스템의 예를 나타낸다.
도 8은 도 7과 같이 구현된 시스템에서 정합 영상 생성부(예, PC)가 생성하는 정합 영상의 시간에 따른 FPS를 나타내는 그래프이다.
도 9는 [표2]에서 640*480 입력 영상(a)과 1280*720 입력 영상(b)에 대한 정합된 출력 파노라마 영상의 해상도를 비교한 예이다.
이하에서는 첨부된 도면들을 참조하여 본 발명에 대해서 자세히 설명한다. 이때, 각각의 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타낸다. 또한, 이미 공지된 기능 및/또는 구성에 대한 상세한 설명은 생략한다. 이하에 개시된 내용은, 다양한 실시 예에 따른 동작을 이해하는데 필요한 부분을 중점적으로 설명하며, 그 설명의 요지를 흐릴 수 있는 요소들에 대한 설명은 생략한다. 또한 도면의 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시될 수 있다. 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니며, 따라서 각각의 도면에 그려진 구성요소들의 상대적인 크기나 간격에 의해 여기에 기재되는 내용들이 제한되는 것은 아니다.
먼저, 영상 정합을 위한 호모그래피(Homography), 영상 워핑(Warping), 영상 블렌딩(Blending)의 원리에 대하여 간단히 설명한다.
<호모그래피(Homography)의 계산>
호모그래피 행렬HAB는 [수학식1]과 같이 투영관계에 있는 두 평면 사이의 변환관계를 나타내는 3*3 행렬일 수 있다. 3차원 공간상에 존재하는 평면형 물체를 서로 다른 두 위치 A, B에서 촬영하였을 때, 물체 위에 존재하는 한 점 P를 A위치에서 바라본 좌표 X1과??B 위치 에서 바라본 좌표 X2 사이의 관계는 [수학식2]를 만족한다. 호모그래피 행렬 HAB는 두 영상의 특징점 매칭 쌍을 이용하여 계산 가능하며, 이 때 매칭 쌍은 4개 이상이 필요하다. 본 발명에서는 특징점 추출과 그 매칭을 위해 SURF(Speeded-Up Robust Features) 방법을 사용하였다. 다만, 고정된 카메라(예, 14대)를 사용하는 경우 호모그래피 행렬 HAB의 계산에 요구되는 특징점 검출, 매칭 등의 불필요한 단계를 생략하여 연산을 단순화할 수도 있다.
[수학식1]
Figure 112016123200155-pat00001
[수학식2]
Figure 112016123200155-pat00002
<영상 워핑(Warping)>
다수의 카메라(예, 14대)로부터 획득한 각 입력 영상(I1, I2, I3,..)은 동일한 크기를 갖지만, 서로 다른 좌표계를 갖는다. 따라서, 파노라마 영상을 생성하기 위해서는 입력 영상들을 하나의 픽셀 좌표계로 나타내야 한다. 입력 영상들 중 하나의 기준 영상을 정하게 되면, 나머지 영상들은 각각에 해당되는 호모그래피 행렬 HAB가 각각 적용되어 나타난 영상으로 볼 수 있다. 호모그래피 행렬 HAB을 성공적으로 계산하면, HAB의 역행렬(HBA)을 나머지 영상들에 적용하여 기준 영상의 좌표계를 기준으로 한 통일된 영상을 획득할 수 있다. 이때, 각 영상(I1, I2, I3,..)은 [수학식3]과 같이 각 이웃 위치 간의 호모그래피 행렬 HAB 관계를 이용하여 하나의 기준 영상(예 I1)의 좌표계로 표현되는 영상(I1, I2 ', I3 ',..)으로 변환될 수 있다.
[수학식3]
Figure 112016123200155-pat00003
<영상 블렌딩(Blending)>
영상 워핑을 통해 영상들을 정합하여 하나의 영상으로 정렬된 후, 정합 영상의 경계면 주변 오버랩 영역을 시각적으로 자연스럽게 보이도록 해 주기 위해 영상 블렌딩이 이루어진다. 워핑 과정을 통해 하나의 영상으로 정렬 된 영상은 오버랩 영역에 대한 색상 등의 적절한 처리가 되어있지 않기 때문에 블렌딩 과정을 통해 보정이 필요하다. 본 발명에서는 이를 위해 멀티 밴드 블렌딩 방법을 사용하였다. 멀티 밴드 블렌딩 방법은 가우시안 및 라플라시안 피라미드를 이용한다.
도 1은 본 발명의 일 실시예에 따른 멀티 밴드 블렌딩의 피라미드 구조를 나타낸다.
예를 들어, 도 1과 같이, 3개의 밴드를 이용할 때, 원 영상 G(3)로부터 순차로 1/2 다운 샘플링하여 가우샨 영상 G(2), G(1), G(0)를 획득하고, G(0)를 기본 이미지로 다시 2배 업 샘플링함으로써 D(1), D(2), D(3)를 획득하여, 같은 이미지 크기에서의 영상값들의 차이를 계산하여 각 단계의 라플라시안 영상 L(1), L(2), L(3)를 획득할 수 있다.
두개의 입력 영상에 대하여 이와 같은 가우샨 영상들과 라플라시안 영상들을 획득하고, 각 단계의 가중치 윈도우를 이용하여, 정합된 두 영상의 경계면 주변 오버랩 영역에서의 자연스러운 영상을 얻을 수 있다.
<본 발명의 360도 파노라마 동영상 생성 시스템>
본 발명에서는 고해상도의 360도 파노라마 영상을 촬영하기 위한 시스템으로서, 고해상도의 결과물을 얻기 위해 열 대 이상의 카메라 모듈을 사용한다.
도 2는 촬영 영상의 수와 해상도 간의 관계를 설명하기 위한 도면이다.
카메라 성능이 FHD로 동일할 경우, 도 2의 (a)와 같이, FoV(field of view)가 큰 광각(예, 200도) 렌즈를 갖는 카메라로 2장을 촬영하여 정합하는 경우보다, 도 2의 (b)와 같이, FoV가 65도 정도인 일반 화각 렌즈를 갖는 카메라로 7장을 촬영하여 정합하면, 360도와 같이 같은 범위를 촬영하였을 때 해상도가 더 높다는 것을 알 수 있다.
하지만, 입력 영상의 수가 증가하게 되면 호모그래피 행렬 계산, 영상 워핑 및 블렌딩 과정을 모두 거치는 일반적인 파노라마 영상 정합 방식은 연산량이 많아 실시간 영상 정합이 불가능하고, 촬영 영상 스트리밍에 비해 느린 정합 속도 때문에 정합 PC에 병목 현상을 유발하게 되는 문제점이 있다.
도 3은 본 발명의 일 실시예에 따른 360도 파노라마 동영상 생성 시스템(100)을 설명하기 위한 도면이다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 동영상 생성 시스템(100)은, 복수의 카메라 모듈(111)과 복수의 임베디드 보드(112)를 포함하는 영상 획득부(110), 네트워크(120), 및 정합 영상 생성부(130)를 포함한다.
네트워크(120)는 영상 획득부(110)와 정합 영상 생성부(130)를 연결하는 전용 선로일 수도 있고, 유선 인터넷 통신이나 WiFi, WiBro 등 무선 인터넷 통신, WCDMA, LTE 등 이동통신 등을 지원하는 유무선 통신 네트워크일 수도 있다.
정합 영상 생성부(130)는 네트워크 상의 서버일 수도 있고, PC(Personal Computer)와 같은 전용 데이터 처리 장치일 수도 있다.
복수의 카메라 모듈(111)(예, 14대)은 360도 촬영 가능하도록 같은 간격으로 원형으로 배치된다. 복수의 카메라 모듈(111)은 각각 65도 화각 HD급 카메라 모듈일 수 있다.
복수의 임베디드 보드(112)는 복수의 카메라 모듈(111)(예, 14대)의 복수개씩(예, 2개, 경우에 따라 더 많은 수도 가능함)에 각각 대응되는 수만큼(예, 7개) 구비되며, 각각 두 카메라 모듈을 제어하고 두 카메라 모듈로부터의 영상의 정합 결과를 일차적으로 인코딩하고 압축하여 정합 영상 생성부(130)로 전송함으로써 전송 데이터 량을 반감하고 데이터 송수신신의 병목 현상을 방지할 수 있도록 한다. 이에 따라 정합 영상 생성부(130)에서 매 프레임마다 호모그래피 행렬계산, 영상워핑, 블렌딩 등에 의한 연산량의 저감이 가능하고 실시간으로 용이하게 영상 정합이 가능하게 한다. 즉, 정합 영상 생성부(130)는 반감된 동영상(예, 7개의 정합 영상)에 대하여만 호모그래피 행렬계산, 영상워핑, 블렌딩 처리하여 실시간으로 고해상도의 360도 파노라마 영상을 제공할 수 있다.
이와 같은 정합 영상 생성부(130)와 복수의 임베디드 보드(112) 각각은, 이와 같은 기능을 수행하기 위하여, 반도체 프로세서와 같은 하드웨어, 응용 프로그램과 같은 소프트웨어, 또는 이들의 결합으로 구현될 수 있으며, 서로 데이터를 송수신하기 위한 모뎀을 구비할 수 있다.
도 4는 본 발명의 일 실시예에 따른 각 임베디드 보드(112)에서의 동작을 설명하기 위한 흐름도이다.
먼저, 임베디드 보드들(112) (예, 7개)은 네트워크(120)를 통해 정합 영상 생성부(130)(예, PC)와 소정의 신호를 주고 받으면서 연결을 시도한다(S110). 임베디드 보드들(112)은 정합 영상 생성부(130)(예, PC)와 연결되면(S120), 정합 영상 생성부(130)(예, PC)로부터 시작 신호(START)를 기다린다(S130).
임베디드 보드들(112)은 정합 영상 생성부(130)(예, PC)로부터 시작 신호(START)를 수신하면, 카메라 모듈들(111) (예, 14대)이 촬상하도록 제어하고, 각 임베디드 보드(112)는 대응되는 2개의 카메라 모듈들이 캡쳐한 프레임 단위의 영상 (데이터)를 수신한다(S140).
각 임베디드 보드(112)는 해당 2개의 영상에 대하여 위에서 기술한 바와 같은 호모그래피 행렬을 이용한 영상 워핑을 통해 영상을 일차적으로 정합한다(S150). 카메라 모듈들(111)이 고정된 경우 해당 위치 좌표에 맞게 호모그래피 행렬은 미리 계산되어 준비될 수 있다. 경우에 따라, 카메라 모듈들(111)이 이동형 등 고정되지 않은 경우에, 각 임베디드 보드(112)는 해당 카메라 모듈로부터 수신하는 위치 좌표 정보 등을 이용하여 그때 그때 호모그래피 행렬을 계산하고 영상을 정합할 수도 있다.
각 임베디드 보드(112)는 일차적으로 정합된 영상 (데이터)을 H.264 비디오 압축 방식 등 이전 프레임과 비교해 변화된 부분만을 압축하는 방식으로 데이터를 압축해 해당 압축 동영상 파일을 메모리 등 저장 수단에 저장한다(S160).
각 임베디드 보드(112)는 소정의 시간 동안 2개의 카메라 모듈들로부터의 2 영상을 정합하고 압축해 해당 압축 동영상 파일들을 소정의 시간 동안 메모리 등 저장 수단에 저장한 후(S170), 압축 동영상 파일들을 정합 영상 생성부(130)(예, PC)로 전송한다(S180). 여기서, 각 임베디드 보드(112)가 전송 대상 파일들을 메모리 등 저장 수단에 저장하는 시간 k는 정합 영상 생성부(130)(예, PC)에서 영상 정합에 필요한 시간에 비례하여 정해질 수 있다. 이를 위하여 정합 영상 생성부(130)(예, PC)는 소정의 프레임 수만큼 영상 정합이 이루어지면 각 임베디드 보드(112)로 압축 동영상 파일들을 전송하도록 해당 메시지를 통보할 수도 있다.
이와 같이, 본 발명에서는 각 임베디드 보드(112)에서 일차적으로 영상 정합을 수행하여 전송하므로 정합 영상 생성부(130)(예, PC)에서 정합해야 하는 영상의 수를 반감시킬 수 있다.
또한, 각 임베디드 보드(112)에서 정합 영상 생성부(130)(예, PC)로 영상을 전송하는 데에 걸리는 시간은 전송할 데이터의 크기에 영향을 받게 되고, 정합 영상 생성부(130)(예, PC)에서의 영상 정합 속도에 비해 전송 데이터량이 많게 되면 데이터 수신의 병목 현상과 메모리 문제가 발생하게 된다. 따라서, 본 발명과 같이 각 임베디드 보드(112)에서 일차적으로 영상 정합을 수행하여 전송하므로 정합 영상 생성부(130)(예, PC)에서 정합해야 하는 영상의 수를 반감시킬 수 있을 뿐만 아니라,두 영상의 정합 결과를 인코딩하고 압축하여 정합 영상 생성부(130)(예, PC)로 전송함으로써 전송 데이터 량을 반감하고 데이터 송수신신의 병목 현상을 방지할 수 있으며, 정합 영상 생성부(130)(예, PC)가 매 프레임마다 호모그래피 행렬계산, 영상워핑, 블렌딩 등에 의한 연산량의 저감이 가능하고 실시간으로 용이하게 영상 정합이 가능하게 한다.
도 5는 본 발명의 일 실시예에 따른 정합 영상 생성부(130)(예, PC)에서의 동작을 설명하기 위한 흐름도이다.
먼저, 정합 영상 생성부(130)(예, PC)는 네트워크(120)를 통해 임베디드 보드들(112) (예, 7개)과 소정의 신호를 주고 받으면서 연결 시도한다(S210). 정합 영상 생성부(130)(예, PC)는 임베디드 보드들(112)과 연결되면(S220), 임베디드 보드들(112)로 시작 신호(START)를 전송하여 촬영 동기를 맞추도록 제어한다(S230).
카메라 모듈들(111) (예, 14대)이 촬영을 시작하고, 정합 영상 생성부(130)(예, PC)는 각 임베디드 보드(112)로부터 매번 1프레임의 영상을 전송받는 대신 각 임베디드 보드(112)가 소정의 시간(k) 단위로 전송하는 해당 압축 동영상 파일들을 수신한다(S240). 이러한 방식은 카메라 수가 증가할수록 영상 정합 속도보다 영상 수신 속도가 빨라져 버퍼링에 한계가 생기는 문제에 대응하기 위함이다.
정합 영상 생성부(130)(예, PC)는 수신된 압축 동영상 파일들을 디코딩하여 프레임 단위로 영상을 획득하고(S250), 위에서 기술한 바와 같은 미리 계산된 호모그래피 행렬을 이용한 영상 워핑을 통해 영상을 정합하고 블렌딩을 수행해(S260) 파노라마 영상 (데이터)를 생성해 디스플레이 장치에 실시간으로 디스플레이 되도록 한다(S270). 경우에 따라, 카메라 모듈들(111)이 이동형 등 고정되지 않은 경우에, 각 임베디드 보드(112)는 해당 카메라 모듈로부터 수신하는 위치 좌표 정보 등을 전송할 수 있고, 정합 영상 생성부(130)(예, PC)는 이를 수신하여 그때 그때 호모그래피 행렬을 계산하고 영상을 정합할 수도 있다.
도 6은 본 발명에서의 정합 영상 생성부(130)(예, PC)에서의 영상 정합 과정의 개념을 설명하기 위한 도면이다.
도 6과 같이, 본 발명에서는 각 기능이 독립성을 가질 수 있도록 개별적인 네 종류의 스레드(thread)로 구현하였다. 스레드와 스레드 사이에는 버퍼 역할을 하는 큐(Queue)를 두어 데이터 교환에 이용한다.
첫 번째 스레드는 영상 수신 스레드(Receive thread)로서, 임베디드 보드 수만큼 생성되어, 클라이언트 측의 각 임베디드 보드(112)로부터 압축 동영상 파일들을 수신하고, 프레임 단위의 해당 파일들을 제어 스레드로 전달한다.
두 번째 스레드는 제어 스레드(Control thread)로서, 순차적으로 수신되는 프레임 단위의 압축 동영상 파일들 중에서 하나로 정합해야 할 해당 프레임의 파일들을 모아 세 번째 스레드로 넘겨준다.
세 번째 스레드는 정합 스레드(Render thread)로서, 속도 향상을 위해 n(자연수)개만큼 생성되어 작업을 병렬 처리한다. 여기서 n은 정합 영상 생성부(130)(예, PC)의 프로세서 성능에 맞추어 설정한다. 정합 스레드는 넘겨받은 프레임들에 워핑 및 블렌딩을 적용하여 하나의 프레임으로 정합한다. 정합된 프레임은 각 정합 스레드마다 가지고 있는 디스플레이 큐에 순차 전달한다.
마지막 스레드는 디스플레이 스레드(Display thread)로서, 정합 영상을 디스플레이 큐로부터 순서대로 가져와 디스플레이 장치에 실시간으로 디스플레이 되도록 한다.
도 7은 본 발명에 따른 카메라 모듈들(111)과 임베디드 보드들(112)을 이용한 구현 시스템의 예를 나타낸다. 이와 같이 구현에 사용된 클라이언트 측의 카메라 모듈들(111)과 임베디드 보드들(112)의 사양 및 정합 영상 생성부(130)(예, PC)의 사양을 아래 [표 1]에 정리하였다.
[표 1]
Figure 112016123200155-pat00004
도 8은 도 7과 같이 구현된 시스템에서 정합 영상 생성부(130)(예, PC)가 생성하는 정합 영상의 시간에 따른 FPS(Frame per Sec., 초당 프레임 생성 수)를 나타내는 그래프이다.
도 8에서, (a)는 임베디드 보드들(112)에서 영상 정합 없이 매 프레임마다 압축 동영상 파일을 전송하는 경우이고, (b)는 각 임베디드 보드(112)에서 도 4와 같이 2 영상씩 영상 정합하여 k 시간 동안의 압축 동영상 파일을 전송하는 경우이다. 단, 각 카메라 모듈(111)이 640*480해상도의 영상을 생성하고 정합 영상 생성부(130)(예, PC)에서 n=8의 정합 스레드(Render thread)를 이용하여 정합하는 경우를 나타낸다.
도 8과 같이, 임베디드 보드들(112)에서 영상 정합 없이 매 프레임마다 압축 동영상 파일을 전송하는 경우(a), 최소 1FPS, 최대 8FPS, 평균 5.92FPS 성능을 보였고, 각 임베디드 보드(112)에서 도 4와 같이 2 영상씩 영상 정합하여 k 시간 동안의 압축 동영상 파일을 전송하는 경우(b), 최소 4FPS부터 최대 9FPS, 평균 7.08 FPS로 나타났고, (b)의 경우 영상 정합에 소요되는 시간의 성능이 20% 향상되었음을 확인하였다.
아래 [표2]에는 도 7과 같이 구현된 시스템에서 임베디드 보드들(112)로부터의 입력 영상 해상도에 따른 정합 영상 생성부(130)(예, PC)에서의 평균 정합 시간과 정합된 출력 파노라마 영상의 해상도를 정리하였다. 평균 정합 시간은 단일 정합 스레드(Render thread)만을 이용할 경우 측정한 시간이다. 640*480 입력 영상을 사용했을 때가 1280*720 입력 영상의 경우보다 약 3.2배 빠르게 정합이 가능하지만, 37% 해상도가 떨어진다. 도 9는 [표2]에서 640*480 입력 영상(a)과 1280*720 입력 영상(b)에 대한 정합된 출력 파노라마 영상의 해상도를 비교한 예이다.
[표2]
Figure 112016123200155-pat00005
아래 [표3]에는 기존의 파노라마 정합 영상 방법들과 본 발명의 시스템에서의 시야각(viewing angle), 카메라수, 카메라의 FOV, 해상도, 실시간 정합 여부, FPS 등의 성능을 비교한 결과이다.
[표3]
Figure 112016123200155-pat00006
기존에 휴대용 VR 촬영기기로 사용되고 있는 [6-8]의 경우, 실시간 정합이 불가능하다. 가장 우수한 정합 속도를 가진 [10]의 경우 6대의 카메라로 4K 해상도의 영상을 초당 30 프레임으로 정합 가능하다. 하지만, 고가의 카메라와 DSP(DigitalSignalProcessor)와 FPGA(Field-ProgrammableGateArray)와 같은 전문 장비를 사용한다는 단점이 있다. [17]은 3K해상도의 영상을 초당 1-2프레임으로 정합 가능하지만 다른 방법들에 비해 촬영 가능한 각도가 좁고 느린 정합 속도를 갖는다.[18]은 [10]과 마찬가지로 초당 30프레임으로 영상 정합이 가능하지만, 고해상도의 영상 제작이 불가능하다는 단점을 가진다. 본 발명의 시스템의 경우, 다수의 카메라를 이용하기 때문에 연산량이 많아 정합 속도 측면에서는 [10]과 [18]에 비해 다소 느리지만, 14대의 카메라로 6K의 고해상도 영상 정합이 가능하다.
상술한 바와 같이, 본 발명에 따른 고화질 360도 영상 생성 시스템(100)에서는, 각각 두 대의 일반 화각 카메라 모듈에 대응된 다수의 임베디드 보드들(112)을 네트워크로 정합 영상 생성부(130)(예, PC)와 연결하고, 각 보드들이 전송하는 영상들을 정합 영상 생성부(130)(예, PC)에서 정합하여 파노라마 동영상을 생성하는 데 있어서, 정합 과정의 불필요한 작업 제거, 임베디드 보드에서 촬영 영상을 미리 정합하여 전송, 촬영 영상을 인코딩 된 동영상 파일 형태로 일정 시간 저장했다 전송하는 방식들을 사용하였다. 본 발명에 따른 고화질 360도 영상 생성 시스템(100)에서는 14개의 640*480 해상도의 입력 영상으로부터 초당 약 7프레임으로 360도 파노라마 동영상을 생성할 수 있다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
카메라 모듈(111)
임베디드 보드(112)
영상 획득부(110)
네트워크(120)
정합 영상 생성부(130)

Claims (8)

  1. 복수의 카메라 모듈;
    각각이 상기 복수의 카메라 모듈 중 대응된 복수개의 해당 카메라 모듈들을 제어하는 복수의 임베디드 보드; 및
    상기 복수의 임베디드 보드와 네트워크로 연결된 정합 영상 생성부를 포함하고,
    상기 복수의 임베디드 보드 각각이 상기 대응된 복수개의 해당 카메라 모듈들로부터의 영상들을 일차적으로 정합하여 해당 압축 동영상 파일을 전송하고, 상기 정합 영상 생성부가 상기 복수의 임베디드 보드로부터 수신한 압축 동영상 파일들을 정합하며,
    상기 복수의 카메라 모듈은 360도 촬영 가능하도록 소정의 간격으로 원형으로 배치되고, 상기 정합 영상 생성부가 실시간으로 고해상도의 360도 파노라마 영상을 제공하되,
    일차적인 상기 정합에 의해 전송 데이터량을 줄이고, 상기 복수의 카메라 모듈은 고정되어 있어서 특징점 검출과 매칭 없이 미리 계산된 호모그래피 행렬을 이용하여 상기 복수의 임베디드 보드 각각에서의 영상 정합과 상기 정합 영상 생성부에서의 영상 정합이 이루어져 연산을 단순화한 것을 특징으로 하는 동영상 생성 시스템.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 복수의 임베디드 보드 각각은 상기 정합 영상 생성부에서의 정합 시간에 비례하도록 정해지는 시간 동안 압축 동영상 파일들을 메모리에 저장 후 해당 압축 동영상 파일들을 상기 정합 영상 생성부로 전송하는 것을 특징으로 하는 동영상 생성 시스템.
  5. 각각이 상기 복수의 카메라 모듈 중 대응된 복수개의 해당 카메라 모듈들을 제어하는 복수의 임베디드 보드 각각이 상기 대응된 복수개의 해당 카메라 모듈들로부터의 영상들을 일차적으로 정합하여 해당 압축 동영상 파일을 전송하는 단계; 및
    상기 복수의 임베디드 보드와 네트워크로 연결된 정합 영상 생성부에서 상기 복수의 임베디드 보드로부터 수신한 압축 동영상 파일들을 정합하는 단계를 포함하고,
    상기 복수의 카메라 모듈은 360도 촬영 가능하도록 소정의 간격으로 원형으로 배치되고, 상기 정합 영상 생성부를 통해 실시간으로 고해상도의 360도 파노라마 영상을 제공하되,
    일차적인 상기 정합에 의해 전송 데이터량을 줄이고, 상기 복수의 카메라 모듈은 고정되어 있어서 특징점 검출과 매칭 없이 미리 계산된 호모그래피 행렬을 이용하여 상기 복수의 임베디드 보드 각각에서의 영상 정합과 상기 정합 영상 생성부에서의 영상 정합이 이루어져 연산을 단순화한 것을 특징으로 하는 파노라마 동영상 생성 방법.
  6. 삭제
  7. 삭제
  8. 제5항에 있어서,
    상기 복수의 임베디드 보드 각각은 상기 정합 영상 생성부에서의 정합 시간에 비례하도록 정해지는 시간 동안 압축 동영상 파일들을 메모리에 저장 후 해당 압축 동영상 파일들을 상기 정합 영상 생성부로 전송하는 것을 특징으로 하는 파노라마 동영상 생성 방법.
KR1020160171616A 2016-12-15 2016-12-15 다수의 카메라를 이용한 고해상도 ３６０도 동영상 생성 시스템 KR101806840B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160171616A KR101806840B1 (ko) 2016-12-15 2016-12-15 다수의 카메라를 이용한 고해상도 ３６０도 동영상 생성 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160171616A KR101806840B1 (ko) 2016-12-15 2016-12-15 다수의 카메라를 이용한 고해상도 ３６０도 동영상 생성 시스템

Publications (1)

Publication Number Publication Date
KR101806840B1 true KR101806840B1 (ko) 2017-12-11

Family

ID=60943466

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160171616A KR101806840B1 (ko) 2016-12-15 2016-12-15 다수의 카메라를 이용한 고해상도 ３６０도 동영상 생성 시스템

Country Status (1)

Country Link
KR (1) KR101806840B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101982751B1 (ko) * 2018-12-27 2019-05-27 주식회사 월드씨엔에스 멀티 카메라를 이용한 이동경로 추적기술이 적용된 영상감시장치
CN110191347A (zh) * 2019-05-06 2019-08-30 复旦大学 基于特征点检测的全景视频的传输方法
WO2023282614A1 (ko) * 2021-07-07 2023-01-12 (주)클로버추얼패션 텍스처 영상 생성 방법 및 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013186806A1 (ja) 2012-06-11 2013-12-19 株式会社ソニー・コンピュータエンタテインメント 画像撮像装置および画像撮像方法
KR101680545B1 (ko) * 2015-06-30 2016-11-30 인천대학교 산학협력단 파노라마 동영상 생성 서비스 제공 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013186806A1 (ja) 2012-06-11 2013-12-19 株式会社ソニー・コンピュータエンタテインメント 画像撮像装置および画像撮像方法
KR101680545B1 (ko) * 2015-06-30 2016-11-30 인천대학교 산학협력단 파노라마 동영상 생성 서비스 제공 방법 및 장치

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101982751B1 (ko) * 2018-12-27 2019-05-27 주식회사 월드씨엔에스 멀티 카메라를 이용한 이동경로 추적기술이 적용된 영상감시장치
WO2020138736A1 (ko) * 2018-12-27 2020-07-02 주식회사 월드씨엔에스 멀티 카메라를 이용한 이동경로 추적기술이 적용된 영상감시장치
CN113179673A (zh) * 2018-12-27 2021-07-27 世界性创新电子合作企业 应用多摄像头移动路径追踪技术的影像监视装置
CN113179673B (zh) * 2018-12-27 2023-09-19 世界性创新电子合作企业 应用多摄像头移动路径追踪技术的影像监视装置
US11770502B2 (en) 2018-12-27 2023-09-26 World Cns, Inc. Image surveillance apparatus applied with moving-path tracking technique using multi camera
CN110191347A (zh) * 2019-05-06 2019-08-30 复旦大学 基于特征点检测的全景视频的传输方法
CN110191347B (zh) * 2019-05-06 2021-06-04 复旦大学 基于特征点检测的全景视频的传输方法
WO2023282614A1 (ko) * 2021-07-07 2023-01-12 (주)클로버추얼패션 텍스처 영상 생성 방법 및 장치

Similar Documents

Publication Publication Date Title
CN101689292B (zh) Banana多媒体数字信号编解码器
KR100893463B1 (ko) 무결절성 합성 영상 생성 방법
CN107945112B (zh) 一种全景图像拼接方法及装置
WO2017149875A1 (ja) 撮像制御装置、撮像装置及び撮像制御方法
CN110730296A (zh) 图像处理装置、图像处理方法及计算机可读介质
KR101806840B1 (ko) 다수의 카메라를 이용한 고해상도 ３６０도 동영상 생성 시스템
CN103430531B (zh) 视频处理装置、视频处理***和视频处理方法
US20150124052A1 (en) Image processing apparatus, information processing apparatus, and image processing method
TWI502548B (zh) 即時影像處理方法及其裝置
US8019180B2 (en) Constructing arbitrary-plane and multi-arbitrary-plane mosaic composite images from a multi-imager
JP2016081425A (ja) 画像処理装置、画像処理方法およびプログラム
CN115002345B (zh) 一种图像校正方法、装置、电子设备及存储介质
CN115002442B (zh) 一种图像展示方法、装置、电子设备及存储介质
CN109961395B (zh) 深度图像的生成及显示方法、装置、***、可读介质
CN110602410A (zh) 一种图像处理方法、装置、航拍相机及存储介质
EP3091742A1 (en) Device and method for encoding a first image of a scene using a second image having a lower resolution and captured at the same instant
KR101947799B1 (ko) 가상현실 콘텐츠 서비스를 위한 360도 vr 어안 렌더링 방법
JP6516574B2 (ja) 像ブレ補正装置、撮像装置、像ブレ補正方法
JP2020126393A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2020194400A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2013192152A (ja) 撮像装置、撮像システムおよび画像処理方法
TWI807449B (zh) 多視角立體影像產生方法及系統
KR20220145083A (ko) 360도 영상 화질 개선 장치 및 방법
US20230291865A1 (en) Image processing apparatus, image processing method, and storage medium
CN116962652A (zh) 一种xr虚拟拍摄方法、装置及xr媒体服务器

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant