KR20160021501A - 파노라믹 동영상을 생성하는 동영상 처리 장치 및 그 방법 - Google Patents

파노라믹 동영상을 생성하는 동영상 처리 장치 및 그 방법 Download PDF

Info

Publication number
KR20160021501A
KR20160021501A KR1020140106795A KR20140106795A KR20160021501A KR 20160021501 A KR20160021501 A KR 20160021501A KR 1020140106795 A KR1020140106795 A KR 1020140106795A KR 20140106795 A KR20140106795 A KR 20140106795A KR 20160021501 A KR20160021501 A KR 20160021501A
Authority
KR
South Korea
Prior art keywords
panoramic
image
moving picture
moving
moving image
Prior art date
Application number
KR1020140106795A
Other languages
English (en)
Other versions
KR101946019B1 (ko
Inventor
서주희
김창용
백승진
허용석
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140106795A priority Critical patent/KR101946019B1/ko
Priority to US14/804,687 priority patent/US10334162B2/en
Priority to CN201510508376.8A priority patent/CN105376500B/zh
Publication of KR20160021501A publication Critical patent/KR20160021501A/ko
Application granted granted Critical
Publication of KR101946019B1 publication Critical patent/KR101946019B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6815—Motion detection by distinguishing pan or tilt from motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Studio Circuits (AREA)

Abstract

동영상 처리 장치가 개시된다. 동영상 처리 장치는, 카메라에 의해 촬영된 동영상을 저장하는 저장부, 동영상에 포함된 복수의 키 프레임 내의 대상 오브젝트 및 배경 이미지를 각각 분리하고, 분리된 각 배경 이미지를 스티칭한 후 대상 오브젝트를 합성하여 파노라믹 이미지를 획득하고, 획득된 파노라믹 이미지를 이용하여 파노라믹 동영상을 생성하는 제어부를 포함한다.

Description

파노라믹 동영상을 생성하는 동영상 처리 장치 및 그 방법 { VIDEO PROCESSING APPARATUS FOR GENERATING PARANOMIC VIDEO AND METHOD THEREOF }
본 발명은 동영상 처리 장치 및 그 방법에 대한 것으로, 보다 상세하게는, 동영상을 처리하여 파노라믹 동영상을 생성할 수 있는 동영상 처리 장치 및 그 방법에 대한 것이다.
최근 디지털 영상기기의 발전과 함께 화질의 선명도와 해상도가 향상되면서 더 많은 영상정보를 한 화면에 담고자하는 시도로서 파노라믹 동영상이 주목을 받고 있다. 이러한 관심은 영상 디스플레이 분야가 기존의 4:3 화면에서 16:9 화면으로 전환되어 가는 것과 무관하지 않으며, 이보다 더 넓은 화면을 통하여 현실감과 몰입감을 얻고자 하는 시각적 요구는 파노라믹 동영상의 발전을 좀 더 빠르게 진전시킬 것으로 보인다.
예를 들어, 파노라믹 동영상은 경기장에서의 축구 선수들의 모습을 표현하는데 있어서 적합하다. 종래의 중계 방송은 경기장 전체의 모습을 하나의 화면으로 보여주는 경우 축구선수들의 모습은 상대적으로 아주 작게 나타날 뿐만 아니라, 경기장의 한쪽 방향으로 긴 형태로 인해 경기장 이외의 모습을 많이 포함하게 될 수밖에 없으므로 경기장 전체의 모습을 보여주는 대신에 경기장 일부의 모습을 시청자들에게 제공한다. 그러나, 중계 방송에 파노라믹 동영상을 이용하는 경우, 경기장 전체의 모습을 시청자들에게 한번에 보여줄 수 있게 된다.
파노라믹 동영상은 여러 장의 연속된 파노라믹 이미지로 구성된다. 종래에 파노라믹 동영상을 획득하기 위해서는 처음 동영상을 촬영할 때부터 파노라믹 동영상을 촬영할 목적을 가지고 여러 대의 카메라로 촬영된 경기장 일부의 모습들을 서로 이어 붙임으로써 파노라믹 동영상을 생성하여야 했다. 따라서, 사용자가 촬영 당시 파노라믹 동영상을 촬영하기 위한 목적으로 여러 대의 카메라로 일정한 조건(예를 들어, 방향, 노출 등) 하에 촬영을 수행하지 않았다면, 추후에 파노라믹 동영상을 획득하기 어려운 문제점이 존재한다.
따라서, 파노라믹 동영상을 좀 더 편리하고 효율적으로 생성할 수 있는 방안의 모색이 요청된다.
본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 동영상에 포함된 복수의 키 프레임을 이용하여 파노라믹 동영상을 생성할 수 있는 동영상 처리 장치 및 그 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 동영상 처리 장치는, 동영상을 저장하는 저장부, 동영상에 포함된 복수의 키 프레임 내의 대상 오브젝트 및 배경 이미지를 각각 분리하고, 분리된 각 배경 이미지를 스티칭한 후 대상 오브젝트를 합성하여 파노라믹 이미지를 획득하고 획득된 파노라믹 이미지를 시간축으로 정합하여 파노라믹 동영상을 생성하는 제어부를 포함한다.
또한, 제어부는 동영상을 구성하는 전체 프레임 중에서 카메라가 패닝하면서 촬영한 패닝 구간 내의 프레임들로부터 복수의 키 프레임을 선택할 수 있다.
또한, 동영상을 촬영하기 위한 카메라 및 동영상 처리 장치의 움직임을 감지하기 위한 움직임 감시 센서를 더 포함하고, 제어부는, 움직임 감지 센서에서 동영상 처리 장치의 패닝 움직임이 감지되는 동안 촬영된 동영상 구간을 패닝 구간으로 판단할 수 있다,
또한, 제어부는, 동영상을 구성하는 각 프레임 내에 포함된 오브젝트 특성을 분석하여, 공통된 대상 오브젝트 또는 공통된 배경 이미지를 가지는 복수의 프레임을 상기 복수의 키 프레임으로 선택할 수 있다.
또한, 동영상을 디스플레이하기 위한 디스플레이부를 더 포함하며, 제어부는, 동영상이 재생되면 동영상 내에서 복수의 키 프레임이 디스플레이될 타이밍에 파노라믹 이미지를 디스플레이하도록 디스플레이부를 제어할 수 있다.
또한, 제어부는, 대상 오브젝트의 이동을 표현하기 위하여 대상 오브젝트의 표시 위치 및 형태를 순차적으로 변화시킨 복수의 파노라믹 이미지를 키 프레임의 개수와 동일 개수만큼 생성하고, 복수의 키 프레임을 복수의 파노라믹 이미지로 대체하여 저장부에 저장할 수 있다.
또한, 제어부는, EDID(Extended Display Identification Data) 정보를 기반으로 파노라믹 동영상의 최대 종횡비를 결정하고, 결정된 최대 종횡비를 갖도록 파노라믹 동영상을 생성할 수 있다.
또한, 제어부는, 복수의 키 프레임의 배경 이미지가 상호 정렬되도록 복수의 키 프레임을 조정한 후, 조정된 각 키 프레임을 이용하여 파노라믹 동영상을 생성할 수 있다.
또한, 제어부는, 파노라믹 동영상이 생성되었음을 표시하는 인디케이터(Indicator)를 디스플레이부에 표시할 수 있다.
또한, 제어부는, 동영상이 재생되어 동영상 화면이 디스플레이부에 디스플레이되면 동영상 화면에 인디케이터를 중첩시켜 표시하고, 파노라믹 동영상의 특성에 따라 인디케이터의 크기, 모양, 위치 및 색상 중 적어도 하나를 변경할 수 있다.
한편, 본 발명의 일 실시 예에 따른 파노라믹 동영상 생성 방법은, 동영상을 저장하는 단계, 동영상에 포함된 복수의 키 프레임 내의 대상 오브젝트 및 배경 이미지를 각각 분리하는 단계 및, 분리된 배경 이미지를 스티칭한 후 대상 오브젝트를 합성하여 파노라믹 이미지를 획득하고, 획득된 파노라믹 이미지를 시간축으로 정합하여 파노라믹 동영상을 생성하는 단계를 포함한다.
또한, 복수의 키 프레임은, 동영상을 구성하는 전체 프레임 중에서 카메라가 패닝하면서 촬영한 패닝 구간 내의 프레임들로부터 선택될 수 있다.
또한, 카메라를 구비한 동영상 처리 장치의 움직임을 감지하는 단계를 더 포함하고, 패닝 구간은 동영상 처리 장치의 움직임이 감지되는 동안 촬영된 동영상 구간일 수 있다.
또한, 동영상을 구성하는 각 프레임 내에 포함된 오브젝트 특성을 분석하여, 중첩된 배경 이미지를 가지는 복수의 프레임을 복수의 키 프레임으로 선택하는 단계를 더 포함할 수 있다.
또한, 파노라믹 동영상을 디스플레이하는 단계를 더 포함하며, 동영상이 재생되면, 동영상 내에서 복수의 키 프레임이 디스플레이될 타이밍에 파노라믹 이미지를 디스플레이할 수 있다.
또한, 대상 오브젝트의 이동을 표현하기 위하여 대상 오브젝트의 표시 위치 및 형태를 순차적으로 변화시킨 복수의 파노라믹 이미지를 키 프레임의 개수와 동일 개수만큼 생성하는 단계 및, 복수의 키 프레임을 복수의 파노라믹 이미지로 대체하여 저장하는 단계를 더 포함할 수 있다.
또한, EDID 정보를 기반으로 파노라믹 동영상의 최대 종횡비를 결정하는 단계를 더 포함할 수 있다.
또한, 파노라믹 동영상을 생성하는 단계는, 복수의 키 프레임의 배경 이미지가 상호 정렬되도록 복수의 키 프레임을 조정한 후, 조정된 각 키 프레임을 이용하여 파노라믹 동영상을 생성할 수 있다.
또한, 파노라믹 동영상을 디스플레이하는 단계는, 파노라믹 동영상이 생성되었음을 표시하는 인디케이터를 표시할 수 있다.
또한, 파노라믹 동영상을 디스플레이하는 단계는, 동영상이 재생되어 동영상 화면이 디스플레이되면, 동영상 화면에 인디케이터를 중첩시켜 표시하고, 파노라믹 동영상의 특성에 따라 인디케이터의 크기, 모양, 위치 및 색상 중 적어도 하나를 변경할 수 있다.
상술한 본 발명의 다양한 실시 예에 따르면, 사용자가 촬영 당시 파노라믹 동영상을 획득하기 위한 목적으로 촬영하지 않았더라도, 추후에 동영상 데이터를 이용하여 파노라믹 동영상을 획득할 수 있으므로, 사용자의 편이성이 향상된다.
도 1은 본 발명의 일 실시 예에 따른, 동영상 처리 장치의 구성을 간략히 도시한 블럭도,
도 2 내지 도 4는 영상을 처리하여 파노라믹 동영상을 생성하는 과정을 설명하기 위한 도면,
도 5는 본 발명의 다른 실시 예에 따른, 동영상 처리 장치의 구성을 간략히 도시한 블럭도,
도 6은 본 발명의 일 실시 예에 따른, 패닝 구간을 이용하여 파노라믹 동영상을 생성하는 방법을 설명하기 위한 도면,
도 7은 본 발명의 다른 실시 예에 따른, 동영상 처리 장치의 구성을 간략히 도시한 블럭도,
도 8은 본 발명의 다른 실시 예에 따른, 동영상 처리 장치의 구성을 상세히 도시한 블럭도,
도 9는 본 발명의 일 실시 예에 따른, 저장부의 구성을 상세히 도시한 블럭도,
도 10 내지 도 11은 본 발명의 다른 실시 예에 따른, 패닝 구간을 이용하여 파노라믹 동영상을 생성하는 방법을 설명하기 위한 도면,
도 12는 본 발명의 일 실시 예에 따른, 파노라믹 동영상이 디스플레이되는 방법을 설명하기 위한 도면,
도 13은 본 발명의 일 실시 예에 따른, 파노라믹 동영상이 생성되는 방법을 설명하기 위한 흐름도,
도 14는 본 발명의 다른 실시 예에 따른, 파노라믹 동영상이 생성되는 방법을 설명하기 위한 흐름도이다.
이하에서는 도면을 참조하며 본 발명에 대해 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시 예에 따른, 동영상 처리 장치의 구성을 간략히 도시한 블럭도이다.
도 1에 따르면 본 발명의 일 실시 예에 따른 동영상 처리 장치(100)는, 저장부(110) 및 제어부(120)를 포함한다.
저장부(110)는 카메라에 의해 촬영된 동영상을 저장하는 구성이다. 동영상은 한개의 카메라에 의해 촬영된 동영상 또는 복수의 카메라에 의해 각각 다른 각도에서 촬영된 복수의 동영상일 수 있다. 또한, 저장부(110)는 동영상을 구성하는 프레임들을 임시 저장하기 위한 버퍼의 역할을 할 수 있다. 구체적으로 저장부(110)는 파노라믹 동영상을 생성하기 전에 프레임들을 임시 저장하기 위한 버퍼를 포함할 수 있다. 또한, 저장부(110)는 동영상을 처리하여 파라노믹 동영상을 생성하기 위한 각종 소프트웨어 모듈 및 관련 정보들을 저장하며, 필요시 제어부(120)로 이에 대한 정보를 출력할 수 있다.
한편, 촬영된 동영상은 저장부(110)에 저장되어 있는 경우 외에도 네트워크에 의해 접속되어 있는 시스템에 저장되어 있을 수도 있다. 이 경우에는 통신부(미도시)를 이용하여 영상의 원격 전송 및 복제가 가능할 수 있다.
제어부(120)는 동영상 처리 장치(100)의 전반적인 동작을 제어하는 기능을 한다.
특히, 제어부(120)는 동영상에 포함된 복수의 키 프레임(key frame) 내의 대상 오브젝트 및 배경 이미지를 각각 분리할 수 있다. 키 프레임은 동영상 내의 일련의 프레임 중에서 검출될 수 있다. 키 프레임은 각 프레임에 대한 분석을 행함으로서 검출된다. 각 분석에 따라 동영상에서 변이량이 큰 프레임이 키 프레임으로 검출된다. 예를 들어, 키 프레임은 동영상에서의 카메라 움직임, 물체 움직임, 배경 움직임 등을 분석함으로써 검출될 수 있다. 구체적으로, 제어부(120)는 카메라의 움직임의 방향, 모션 벡터(Motion Vector)의 변화량의 방향 및 크기, 오브젝트 트래킹(Object Tracking)의 방향 등을 분석하여 키 프레임을 검출할 수 있다.
제어부(120)는 이 외에도 동영상의 FPS 정보 및 카메라의 자세정보 등을 이용하여 키 프레임을 검출할 수 있다. 카메라의 자세정보란 동영상을 촬영하는 카메라의 위치, 방향, 앵글 등에 관한 정보를 의미한다. 카메라의 자세정보는 동영상에 포함되어 있는 정보일 수 있다.
대상 오브젝트는 키 프레임 내에서 배경 이미지와 분리되는 무빙 오브젝트(Moving Object)를 의미한다. 즉, 시청자가 관심 있게 보는 대상이 되는 움직이는 물체가 대상 오브젝트가 될 수 있다. 예를 들어, 한적한 시골길을 자동차가 지나가는 동영상을 시청하는 경우, 자동차가 대상 오브젝트가 된다. 한편, 대상 오브젝트는 복수가 될 수도 있다. 예를 들어, 스포츠 중계에서, 대상 오브젝트는 축구선수들과 공이 될 수 있다. 상술한 바와 같이, 키 프레임을 추출함으로써 모든 프레임을 처리하는 부담을 줄이면서, 대상 오브젝트의 움직임을 표현할 수 있는 충분한 프레임을 확보할 수 있다.
이하에서는, 도 2 내지 도 4는 동영상을 처리하여 파노라믹 동영상을 생성하는 과정을 설명한다.
도 2 및 도 3은 프레임으로부터 분리된 배경 이미지를 스티칭(stitching)하여 파노라믹 이미지를 생성하는 과정을 설명하기 위한 도면이다.
도 2에 도시된 바와 같이, 입력 동영상의 일 부분(이하, 파노라믹 동영상 생성 구간)은 n개의 프레임으로 구성되어 있다. 도 2에서는 설명의 편의를 위해 파노라믹 동영상 생성 구간의 n개의 프레임에서 추출된 키 프레임 중 처음 프레임(11), 중간 프레임(12) 및 마지막 프레임(13)만을 도시하였다. 입력 동영상은 사람(14)과 강아지(15)가 거리를 지나는 화면을 촬영한 동영상이다. 이 경우, 사람(14)과 강아지(15)가 대상 오브젝트가 된다. 대상 오브젝트의 방향은 카메라 기준으로 좌측 방향에서 우측 방향이 되며, 대상 오브젝트가 이동되면서 배경 이미지도 좌측에서 우측으로 이동된다.
제어부(120)는 입력 동영상으로부터 무빙 오브젝트를 검출하여 사람(14)과 강아지(15)를 대상 오브젝트로 판단할 수 있다. 여기서, 제어부(120)는 기 설정된 값 이상의 변이량을 가지는 오브젝트를 무빙 오브젝트로 판단할 수 있다. 이 후, 제어부(120)는 대상 오브젝트(14, 15)와 배경 이미지를 분리한다. 대상 오브젝트(14, 15)와 배경 이미지는 색상 및 모션 정보를 이용하여 분리될 수 있다. 이에 따라, 대상 오브젝트(14, 15)가 분리된 배경 이미지들(21, 22, 23)이 생성되며, 제어부(120)는 이러한 배경 이미지들을 연결하여 하나의 파노라믹 배경 이미지(20)를 생성할 수 있다. 이 때, 이러한 배경 이미지들을 자연스럽게 연결하기 위하여, 일반적인 매칭(matching), 영상 정렬(aligning), 스티칭(stitching) 및 블렌딩(blending)과 같은 영상 처리 방식이 적용될 수 있다. 특히, 대상 오브젝트(14, 15)가 분리된 배경 이미지들(21, 22, 23)에 생성된 빈 영역(24, 25)은 홀 필링(hole filling) 영상 처리 기법을 적용하여 채울 수 있다. 이에 따라, 최종적으로 가로로 긴 파노라믹 배경 이미지가 생성될 수 있다.
도 3에 도시된 바와 같이, 각 프레임으로부터 추출된 대상 오브젝트는 배경 이미지와 분리되어, 새로운 프레임으로 생성될 수 있다. 이 때, 생성된 각 새로운 프레임에는 배경 이미지 없이 추출된 대상 오브젝트의 움직임만 표현된다.
도 4는 추출된 대상 오브젝트 및 생성된 파노라믹 배경 이미지를 합성하여 파노라마 동영상을 구성하는 파노라믹 이미지를 생성하는 방법을 설명하기 위한 도면이다.
도 4에 도시된 바와 같이, 파노라믹 이미지는 대상 오브젝트를 파노라믹 배경 이미지상에 중첩(overlay)하여 생성될 수 있다. 이 때, 자연스러운 합성을 위한 매팅(matting) 기술이 적용될 수 있다. 이에 따라, t=1 부터 t=n까지의 파노라믹 이미지(41, 42) 상에서 배경 이미지의 변화 없이 고정된 상태에서 대상 오브젝트(14, 15)가　좌측에서 우측으로 이동하는 화면이 생성될 수 있다.
한편, 제어부(120)는, 동영상을 구성하는 전체 프레임 중에서 카메라가 패닝(panning)하면서 촬영한 패닝 구간을 검출하고, 패닝 구간 내의 프레임들로부터 복수의 키 프레임을 선택할 수 있다. 패닝이란, 촬영 장비를 손에 쥐고 있는 촬영자, 촬영자의 신체 일부(예컨대, 촬영 장비를 손에 쥐고 있는 팔) 또는 촬영 장비가 고정된 위치를 중심으로 회전함으로써 촬영 방향을 직선 궤적을 따라 변경시키며 촬영하는 것을 말한다. 예를 들어, 카메라 마운트 헤드 또는 카메라 자체를 좌우로 움직여서 양쪽의 상황이나 파노라믹 장면을 보여주는 카메라 동작을 수행할 수 있다. 카메라 마운트 헤드를 사용해서 카메라 헤드를 수평적 또는 수직적으로 움직일 수 있는데, 본 상세한 설명에서는 패닝을 수평적 또는 수직적 움직임을 모두 포함하는 것으로 정의한다. 예를 들어, 축구 경기 중계 방송의 경우, 카메라는 경기장의 하프라인을 중심으로 촬영하다가 골대쪽으로 카메라를 서서히 움직여서 장면을 전환할 수 있다. 이 때, 카메라가 움직이면서 촬영된 프레임 구간이 패닝 구간이 된다.
패닝 구간은 동영상의 모션 벡터 정보를 이용하여 추출될 수 있다. 제어부(120)는 모션 벡터 정보를 이용하여 동영상의 움직임을 분석한다. 모션 벡터 정보를 이용하여 동영상 움직임을 분석한 결과, 동영상 중 일정 구간에서 동영상이 일정한 방향으로 움직였을 때, 제어부(120)는 해당 구간을 패닝 구간으로 추출한다.
또는, 제어부(120)는 특징점의 이동을 분석하여 패닝 구간을 추출할 수도 있다. 예를 들어, 제어부(120)는 프레임들에 대한 특징점을 추출하고, 해당 특징점의 이동 방향을 분석하여 패닝 구간을 추출할 수 있다. 이 경우, 제어부(120)는 영상을 복수의 블럭으로 구분하고, 구분된 영역에 포함된 특징점을 추출할 수 있으며, 전체 영역에서도 특징점을 추출할 수 있음은 물론이다. 그리고, 제어부(120)는 추출된 특징점을 대상으로 주변 픽셀과의 차이값을 이용하여 프레임의 움직임을 분석할 수 있다.
이와 같은 패닝 구간 추출 방법을 이용하면, 카메라로 촬영하지 않은 동영상(예를 들어, 애니메이션, 컴퓨터 그래픽 등)으로부터 패닝 구간을 추출할 수도 있다. 예를 들어, 배경과 오브젝트들로 구성된 애니메이션의 경우, 애니메이션의 모션 벡터 정보를 이용하여 애니메이션 배경의 움직임을 분석하거나 애니메이션 프레임들에 대한 특징점을 추출하여 카메라가 패닝하면서 촬영한 것과 같은 패닝 구간을 추출할 수도 있다. 이와 같이 패닝 구간이란, 카메라를 패닝하면서 촬영한 구간 뿐만 아니라 모션 벡터 정보 또는 배경의 움직임 등의 분석되어 파노라믹 동영상을 구성할 수 있는 동영상 구간을 의미한다.
제어부(120)는 패닝 구간이 추출되면, 추출된 패닝 구간을 구성하는 프레임들로부터 복수의 키 프레임을 선택할 수 있다. 이 때, 제어부(120)는, 동영상을 구성하는 각 프레임 내에 포함된 오브젝트 특성을 분석하여, 공통된 대상 오브젝트 또는 공통된 배경 이미지를 가지는 복수의 프레임을 키 프레임으로 선택할 수 있다. 즉, 키 프레임을 스티칭하기 위해서는 각 프레임 간에 연속성이 존재하여야 하고, 공통된 대상 오브젝트 또는 공통된 배경 이미지가 스티칭의 기준이 될 수 있다.
또한, 제어부(120)는 대상 오브젝트의 이동을 표현하기 위하여 대상 오브젝트의 표시 위치 및 형태를 순차적으로 변화시킨 복수의 파노라믹 이미지를 키 프레임 개수와 동일 개수만큼 생성하고, 복수의 키 프레임을 복수의 파노라믹 이미지로 대체할 수 있다. 또는 복수의 키 프레임을 포함하는 전체 프레임에 대한 파노라믹 이미지를 생성하여, 전체 프레임을 파노라믹 이미지로 대체할 수도 있다. 예를 들어, 패닝 구간을 추출하여 획득된 추가 영역을 전체 프레임의 좌우 또는 상하 영역에 스티칭하여 동영상의 시작부터 끝까지의 프레임을 파노라믹 이미지로 대체할 수 있다. 이 때, 파노라믹 동영상 생성 구간은 영상의 전체 구간이 된다. 복수의 키 프레임이 파노라믹 이미지로 대체된 동영상은 저장부에 저장될 수 있다.
한편, 제어부(120)는 EDID(Extended Display Identification Data) 정보를 기반으로 파노라믹 동영상의 최대 종횡비를 결정하고, 결정된 최대 종횡비를 갖도록 파노라믹 동영상을 생성할 수 있다. EDID 정보란, 디스플레이 장치에 적합한 최적의 조건에 따른 출력신호를 결정할 수 있는 정보로서, 디스플레이 장치 내부의 비휘발성 메모리에 저장되어 있을 수 있다. 만일, 동영상 처리 장치(100)가 디스플레이부를 구비한 경우에는, 동영상 처리 장치(100)의 내부 메모리에 저장되어 있을 수 있다. EDID 정보는 기본 디스플레이 변수 및 특성과 같은 데이터를 정의한다. 예를 들어, 동영상 처리 장치(100)가 PC로 구현된 경우, TV에 PC가 연결되었다면, 플러그 앤 플레이(Plug & Play) 기능에 정의된 바에 따라 PC는 TV의 EDID 정보를 감지하여 TV에 적합한 영상신호를 출력할 수 있다. 제어부(120)는 디스플레이 장치의 메모리에 저장된 EDID 정보를 기반으로 디스플레이 장치의 종횡비에 대한 정보를 획득하고, 이에 따라 파노라믹 동영상의 최대 종횡비를 결정할 수 있다. 예를 들어, 디스플레이 장치의 종횡비가 16:9라면, 파노라믹 동영상의 상하 폭이 줄어드는 반면 좌우 폭은 파노라믹 동영상에서 추가된 영역이 디스플레이될 수 있도록 상대적으로 더 증가할 수 있다. 상하 폭이 줄어듬으로써 파노라믹 동영상 화면의 상하에는 레터 박스(Letter Box)가 생성될 수 있다. 즉, 패닝 구간을 추출하여 획득된 추가 영역의 더 많은 부분이 디스플레이될 수 있다. 한편, 파노라믹 동영상 자체의 종횡비는 패닝 구간에서의 범위 설정 및 키 프레임의 선택 범위에 따라 달라질 수 있다. 예를 들어, 카메라를 좌우로 패닝하면서 촬영한 구간의 양 끝점 사이의 거리에 있어서의 패닝 구간의 범위를 설정할 수 있다. 이 때, 패닝 구간의 범위를 넓게 설정하면, 파노라믹 동영상의 종횡비 또한 증가할 수 있다. 또한, 선택되는 키 프레임의 수 또는 그 배경 이미지에 따라 파노라믹 동영상의 종횡비가 달라질 수 있다.
한편, 복수의 디스플레이 장치가 직접 또는 셋톱박스를 통해 서로 동기화되어 마치 하나의 디스플레이 장치처럼 하나의 화면을 디스플레이할 수도 있다. 동영상 처리 장치(100)가 복수의 디스플레이 장치와 연결된 경우에도 제어부(120)는 EDID 정보를 통해 디스플레이 장치의 개수 및 해상도를 파악하여 파노라믹 이미지의 최대 종횡비를 결정할 수 있음은 물론이다.
또한, 제어부는 복수의 키 프레임의 배경 이미지가 상호 정렬(alignment)되도록 복수의 키 프레임을 조정할 수 있다. 예를 들어, 동영상을 촬영하는 카메라는 좌우 또는 상하로 항상 반듯하게 이동하는 것이 아니므로, 카메라의 흔들림, 회전 등에 의해 인접한 프레임의 중첩된 부분들이 서로 정확히 겹쳐지지 않을 수 있다. 이에 따라, 제어부(120)는 매칭시킬 프레임들을 적절히 이동 또는 회전하여 파노라믹 이미지를 생성할 수 있다. 예를 들어, 매칭시킬 프레임을 이동 또는 회전시킬 경우, 중첩되는 색상 정보간의 유사도가 최대가 되도록 하는 연결하여 파노라믹 이미지를 생성할 수 있다.
도 5는 본 발명의 다른 실시 예에 따른, 동영상 처리 장치의 구성을 간략히 도시한 블럭도이다. 도 5에 도시된 바와 같이, 본 발명의 다른 실시 예에 따른, 동영상 처리 장치(100')는 저장부(110), 제어부(120), 디스플레이부(130), 인터페이스부(140)를 포함한다. 이하에서는 도 1에서의 설명과 중복되는 부분에 대한 설명은 생략하기로 한다.
디스플레이부(130)는 생성된 파노라믹 동영상을 디스플레이한다. 특히, 디스플레이부(130)는 동영상이 재생되면, 동영상 내에서 복수의 키 프레임이 디스플레이될 타이밍에 파노라믹 동영상을 디스플레이할 수 있다. 이 때, 파노라믹 동영상이 생성되었음을 표시하는 인디케이터(Indicator)를 디스플레이부에 표시할 수 있다. 예를 들어, 동영상이 재생되면, 동영상의 전체 재생 구간 중 파노라믹 동영상 생성 구간을 다른 구간과 구별하여 표시할 수 있고, 영상의 일부분에 인디케이터를 중첩하여 표시할 수도 있다. 이 때, 파노라믹 동영상의 특성에 따라 인디케이터의 크기, 모양, 위치 및 색상 등이 변경될 수도 있다. 예를 들어, 파노라믹 동영상의 종횡비가 10:3이라면, 인디케이터를 10:3의 직사각형 형태로 생성하여 동영상의 일부분에 중첩하여 표시할 수 있다. 마찬가지로, 파노라믹 동영상의 종횡비가 21:9라면, 인디케이터 또한 21:9의 비율을 가지는 직사각형 형태를 가질 수 있다.
한편, 디스플레이부(140)는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 등으로 구현될 수 있으나, 이에 한정되는 것은 아니다. 또한, 디스플레이부(140)는 경우에 따라 플렉서블 디스플레이, 투명 디스플레이 등으로 구현되는 것도 가능하다.
이에 따라, 동영상 처리 장치(100')는 디지털 TV(Digital TV), PC(Personal Computer), 네비게이션(Navigation), 키오스크(Kiosk), DID(Digital Information Display) 등과 같이 디스플레이 기능을 갖춘 다양한 유형의 장치로 구현될 수 있다. 동영상 처리 장치(100')가 디지털 TV로 구현되는 경우 동영상 처리 장치(100')는 리모컨에 의해 제어될 수 있다.
이하, 도 5 내지 도 6은 편의상 동영상 처리 장치(100')가 디지털 TV로 구현되는 경우에 관해 설명한다. 다만, 이에 한정되는 것은 아니며, 동영상 처리 장치(100')는 고정장치인 디지털 TV 이외에도 영상 처리가 가능한 휴대할 수 있는 다양한 종류의 PMP, 태블릿 PC, 전자사전 등의 다양한 디스플레이 장치로 구현될 수 있음은 물론이다.
인터페이스부(140)는 동영상을 입력받는 구성이다. 입력되는 동영상은 외부의 카메라(200)로 촬영된 동영상일 수 있으며, 카메라 자세 정보와 같은 촬영 정보를 입력받을 수 있다. 외부의 카메라(200)는 디지털 카메라, 촬영 기능을 갖는 휴대폰과 같이 촬영 기능을 갖는 촬영 장치로서, 본 발명은 인터페이스부(140)를 통해 외부의 카메라(200)가 촬영한 동영상을 수신하여 파노라믹 동영상을 생성할 수 있다. 동영상을 촬영하는 카메라(200)는 복수의 카메라일 수 있으며, 복수의 카메라로 촬영된 동영상은 다시점 영상일 수 있다. 이 경우, 제어부(120)는 추가적으로 일반적인 파노라믹 동영상 생성 방법에 따라 다시점 영상들을 연결할 수 있다. 이와 같이, 동영상 처리 장치(100)는 인터페이스부(140)를 통해 입력받은 동영상을 자체적으로 처리하여 파노라믹 동영상을 생성할 수 있다.
도 6은 본 발명의 일 실시 예에 따른, 패닝 구간을 이용하여 파노라믹 동영상을 생성하는 방법을 설명하기 위한 도면이다. 도 6에 도시된 바와 같이, TV(100)는 튜너를 통해 방송국으로부터 영상 컨텐츠를 수신받을 수 있으며, 영상 컨텐츠는 카메라에 의해 촬영된 영상일 수 있다. 이 경우, TV는 카메라의 자세 정보 등을 동시에 수신할 수도 있다. TV에 구비된 저장부는 수신된 영상 컨텐츠를 저장하고, 파노라믹 동영상을 생성하기 위해 수신된 영상 컨텐츠를 구성하는 프레임들을 임시 저장할 수 있다. 방송국으로부터 수신된 영상 컨텐츠가 카메라에 의해 촬영된 영상인 경우, 카메라(200)에 의해서 촬영되는 영역은 카메라가 패닝함에 따라 달라지게 된다. 예를 들어, 수신된 영상 컨텐츠가 축구 경기를 촬영한 스포츠 영상 컨텐츠인 경우에, 카메라(200)가 910의 방향으로 경기장을 촬영하다가 920의 방향으로 패닝하여 좌측 골대가 화면에 나오도록 촬영하는 경우 또는 930의 방향으로 패닝하여 우측 골대가 화면에 나오도록 촬영하는 경우를 상정할 수 있다. 이 때, 패닝 구간 내의 프레임들로부터 복수의 키 프레임(911, 921, 931)을 선택하는 경우, 촬영된 영역 중 중첩되는 영역이 존재한다. 따라서, 중첩되는 영역을 기준으로 대상 오브젝트가 되는 선수와 분리되어 배경 이미지만 추출된 키 프레임을 스티칭하여 파노라믹 배경 이미지를 생성할 수 있다. 이 경우, 생성된 파노라믹 배경 이미지는 좌측 골대 및 우측 골대를 모두 포함하는 배경 이미지가 된다. 이 후, 대상 오브젝트가 합성되어 파노라믹 동영상을 구성하는 파노라믹 이미지가 획득된다. 획득된 파노라믹 이미지는 시간축으로 정합되어 최종적으로 파노라믹 동영상을 생성하며, 이를 압축하여 제작된 파노라믹 동영상 파일은 TV에 구성된 저장부에 저장될 수 있다.
도 7은 본 발명의 다른 실시 예에 따른, 동영상 처리 장치의 구성을 간략히 도시한 블럭도이다. 도 7에 도시된 바와 같이, 본 발명의 다른 실시 예에 따른, 동영상 처리 장치(100'')는 저장부(110), 제어부(120), 디스플레이부(130), 카메라(150), 움직임 감지 센서(160)를 포함한다. 이하에서는 도 1　 및 도 5에서의 설명과 중복되는 부분에 대한 설명은 생략하기로 한다.
카메라(150)는 제어부(120)의 제어 하에 일반적인 디지털 카메라 기능을 수행하여, 외부 촬영 대상으로부터 입력되는 가시광을 촬영하게 된다. 이러한 카메라(150)는 CCD 촬상 소자 등으로 구성되는 촬영부를 구비하며, 이 외에도 조도 측정을 위한 조도 센서, 피사체와의 초점거리 측정을 위한 거리 센서 등을 구비할 수 있다. 제어부(120)는 카메라(150)에 출력되는 영상 데이터를 처리하여 적절한 포맷의 디지털 영상 데이터로 변환할 수 있다. 따라서, 동영상 처리 장치(100'')는 구비된 카메라(150)로 자체 촬영된 동영상으로부터 파노라믹 동영상을 생성할 수 있다.
움직임 감지 센서(160)는 동영상 처리 장치(100'') 자체의 움직임을 감지할 수 있는 구성이다. 움직임 감지 센서(160)가 동영상 처리 장치(100'')의 움직임을 감지하는 동안 제어부(120)는 동영상 처리 장치(100'')에 구비된 카메라(150)에서 촬영된 동영상 구간을 패닝 구간으로 판단할 수 있다. 즉, 동영상 처리 장치(100'')는 모션 벡터 또는 특징점을 추출하는 방법을 이용하지 않고도 구비된 움직임 감지 센서(160)를 통해 동영상 처리 장치(100'')의 패닝 여부를 판단하여, 촬영된 동영상 내의 패닝 구간을 추출할 수 있다. 움직임 감지 센서(160)는 가속도 센서, 지자기 센서 등 동영상 처리 장치(100'')의 이동 또는 회전각을 측정할 수 있는 다양한 센서를 포함한다.
도 8은 본 발명의 다른 실시 예에 따른, 동영상 처리 장치의 구성을 상세히 도시한 블럭도이다. 도 9에 도시된 바와 같이, 본 발명의 다른 실시 예에 따른 음성 인식 장치(100'')는 저장부(110), 제어부(120), 디스플레이부(130), 사용자 인터페이스부(140), 통신부(150), 움직임 감지 센서(160), 오디오 출력부(170), 오디오 처리부(180), 카메라(190)를 포함한다. 이하에서는 도 7에서의 설명과 중복되는 부분에 대한 설명은 생략하기로 한다.
저장부(110)는 촬영된 동영상 및 이를 처리하여 생성된 파노라믹 동영상 외에도 동영상 처리 장치(100'')를 구동하기 위한 다양한 모듈을 저장한다. 특히, 저장부(110)의 구성에 대해서는 도 9를 참조하여 설명하기로 한다.
도 9는 본 발명의 일 실시 예에 따른, 저장부의 구성을 상세히 도시한 블럭도이다.
도 9에 따르면, 저장부(110)에는 베이스 모듈(111), 센싱 모듈(112), 통신 모듈(113), 프리젠테이션 모듈(114), 웹 브라우저 모듈(115), 서비스 모듈(116) 및 파노라믹 생성모듈(117)을 포함하는 소프트웨어가 저장될 수 있다.
베이스 모듈(111)이란 동영상 처리 장치(100'')에 포함된 각 하드웨어들로부터 전달되는 신호를 처리하여 상위 레이어 모듈로 전달하는 기초 모듈을 의미한다. 스토리지 모듈(111-1)이란 데이터베이스(DB)나 레지스트리를 관리하는 프로그램 모듈이다. 보안 모듈(111-2)이란 하드웨어에 대한 인증(Certification), 요청 허용(Permission), 보안 저장(Secure Storage) 등을 지원하는 프로그램 모듈이고, 네트워크 모듈(111-3)이란 네트워크 연결을 지원하기 위한 모듈이다.
센싱 모듈(112)은 각종 센서들로부터 정보를 수집하고, 수집된 정보를 분석 및 관리하는 모듈이다.
통신 모듈(113)은 외부와 통신을 수행하기 위한 모듈이다. 통신 모듈(113)은 메시징 모듈 및 전화 모듈을 포함할 수 있다.
프리젠테이션 모듈(114)은 디스플레이 화면을 구성하기 위한 모듈이다. 프리젠테이션 모듈(114)은 멀티미디어 컨텐츠를 재생하여 출력하기 위한 멀티미디어 모듈, UI 및 그래픽 처리를 수행하는 UI 렌더링 모듈을 포함한다.
웹 브라우저 모듈(115)은 웹 브라우징을 수행하여 웹 서버에 액세스하는 모듈을 의미한다.
서비스 모듈(116)은 다양한 서비스를 제공하기 위한 각종 어플리케이션을 포함하는 모듈이다. 구체적으로는, 서비스 모듈(116)은 SNS 프로그램, 컨텐츠 재생 프로그램 등과 같은 다양한 프로그램 모듈을 포함할 수 있다.
파노라믹 생성 모듈(117)은 파노라믹 동영상을 생성하기 위한 각종 모듈을 포함하는 구성으로, 디스플레이 장치 감지 모듈(117-1), 파노라마 생성 구간 검출 모듈(117-2), 키 프레임 선택 모듈(117-3), 파노라믹 배경 생성 모듈(117-4) 및 합성 모듈(117-5)를 포함할 수 있다.
디스플레이 장치 감지 모듈(117-1)은 디스플레이 장치의 EDID 정보를 감지하여 연결된 디스플레이 장치의 개수 및 해상도를 파악하고, 파노라믹 동영상의 최대 종횡비를 결정할 수 있다.
파노라마 생성 구간 검출 모듈(117-2)은, 카메라의 움직임의 방향, 모션 벡터(Motion Vector)의 변화량의 방향 및 크기, 오브젝트 트래킹(Object Tracking)의 방향 등을 분석하여 파노라마 동영상이 생성 가능한 구간을 검출할 수 있다.
키 프레임 선택 모듈(117-3)은, 디바이스 개수 및 최대 해상도를 고려하여 필요한 최소한의 키 프레임의 수를 결정하고, 카메라의 움직임의 방향, 모션 벡터(Motion Vector)의 변화량의 방향, 크기, 오브젝트 트래킹(Object Tracking)의 방향, 동영상의 FPS 정보 및 카메라의 자세 정보 등을 이용하여 키 프레임을 선택할 수 있다.
파노라믹 배경 생성 모듈(117-4)은, 선택된 키 프레임의 배경 이미지와 대상 오브젝트를 분리하고, 배경 이미지를 스티칭하여 파노라믹 배경을 생성할 수 있다.
합성 모듈(117-5)은, 생성된 파노라믹 배경과 대상 오브젝트를 합성하여 최종적으로 파노라믹 동영상을 구성하는 파노라믹 이미지를 생성할 수 있다.
다시 도 8에 대해 설명하면, 제어부(120)는 저장부(110)에 저장된 각종 모듈을 이용하여 동영상 처리 장치(100'')의 전반적인 동작을 제어한다.
제어부(120)는 도 8에 도시된 바와 같이, RAM(121), ROM(122), 영상 처리부(123), 메인 CPU(124), 제1 내지 n 인터페이스(125-1 ~ 125-n), 버스(126)를 포함한다. 이때, RAM(121), ROM(122), 영상 처리부(123), 메인 CPU(124), 제1 내지 n 인터페이스(125-1 ~ 125-n) 등은 버스(126)를 통해 서로 연결될 수 있다.
ROM(131)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 메인 CPU(134)는 저장부(120)에 저장된 각종 어플리케이션 프로그램을 RAM(131)에 복사하고, RAM(131)에 복사된 어플리케이션 프로그램을 실행시켜 각종 동작을 수행한다.　
영상 처리부(123)는 촬영된 동영상에 대한 영상 처리를 수행하는 구성요소이다. 영상 처리부(123)에서는 촬영된 동영상에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행할 수 있다. 특히, 비디오 처리부(123)는 촬영된 동영상의 각 프레임을 합성하여 파노라믹 이미지를 획득하고 획득된 파노라믹 이미지를 시간축으로 정합하여 동영상을 구성한 후 이를 압축하여 파노라믹 이미지 파일을 제작할 수 있다.
메인 CPU(124)는 저장부(110)에 액세스하여, 저장부(110)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 메인 CPU(124)는 저장부(110)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.
제1 내지 n 인터페이스(125-1 내지 125-n)는 상술한 각종 구성요소들과 연결된다. 인터페이스들 중 하나는 네트워크를 통해 외부 장치와 연결되는 네트워크 인터페이스가 될 수도 있다.
사용자 인터페이스부(140)는 동영상 처리 장치(100'')의 전반적인 동작을 제어하기 위한 사용자 인터렉션을 감지하기 위한 구성이다. 특히, 사용자 인터페이스부(140)는 도 8에 도시된 바와 같이, 마이크(141), 리모컨 신호 수신부(142) 등과 같은 다양한 인터렉션 감지 장치를 포함할 수 있다.
통신부(150)는 다양한 유형의 통신방식에 따라 다양한 유형의 외부 기기 또는 외부 서버와 통신을 수행하는 구성이다. 통신부(110)는 와이파이 칩, 블루투스 칩, NFC칩, 무선 통신 칩 등과 같은 다양한 통신 칩을 포함할 수 있다. 이때, 와이파이 칩, 블루투스 칩, NFC 칩은 각각 WiFi 방식, 블루투스 방식, NFC 방식으로 통신을 수행한다. 이 중 NFC 칩은 135kHz, 13.56MHz, 433MHz, 860~960MHz, 2.45GHz 등과 같은 다양한 RF-ID 주파수 대역들 중에서 13.56MHz 대역을 사용하는 NFC(Near Field Communication) 방식으로 동작하는 칩을 의미한다. 와이파이 칩이나 블루투스 칩을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신 칩은 IEEE, 지그비, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다. 통신부(150)는 외부 서버와 통신을 수행하여 외부 카메라에 의해 촬영된 동영상의 촬영 정보(카메라 자세정보 등)를 수신받을 수 있으며, 수신된 정보에 따라 파노라믹 동영상을 생성할 수 있다.
오디오 출력부(170)는 오디오 처리부(180)에서 처리된 각종 오디오 데이터뿐만 아니라 각종 알림 음이나 음성 메시지를 출력하는 구성이다. 특히, 오디오 출력부(170)는 스피커로 구현될 수 있으나, 이는 일 실시 예에 불과할 뿐, 오디오 출력 단자와 같은 다른 오디오 출력부로 구현될 수 있다.
오디오 처리부(180)는 오디오 데이터에 대한 처리를 수행하는 구성요소이다. 오디오 처리부(180)에서는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다.
즉, 동영상 처리 장치(100'')는 상술한 바와 같이 저장부(110), 제어부(120), 디스플레이부(130), 사용자 인터페이스부(140), 통신부(150), 움직임 감지 센서(160), 오디오 출력부(170), 오디오 처리부(180), 카메라(190)를 모두 구비하는 하나의 사용자 단말 장치로 구현될 수 있다.
도 10 내지 도 11은 본 발명의 다른 실시 예에 따른, 패닝 구간을 이용하여 파노라믹 이미지를 생성하는 방법을 설명하기 위한 도면이다.
이하, 도 10 내지 도 11은 동영상 처리 장치(100'')가 휴대용 단말 장치로 구현되는 경우에 관해 설명한다.
도 10은 동영상 처리 장치(100'')에 구비된 카메라(190)를 이용하여 좌에서 우로 비행하는 비행기(1010)를 촬영하는 모습을 도시한 것이다. 도 10에 도시된 바와 같이, 이 경우 휴대용 단말 장치의 특성상 좌우로 협소한 범위의 배경 이미지만이 촬영될 수 있다. 사용자는 비행기(1010)가 화면에서 벗어나지 않도록 촬영하기 위해 비행기(1010)를 따라 카메라를 좌에서 우로 패닝할 수 있다. 이 때, 움직임 감지 센서(160)가 동영상 처리 장치(100'')의 움직임을 감지하여 패닝 구간을 검출할 수 있다.
도 11은 검출된 패닝 구간 내에서 선택된 복수의 키 프레임(1110, 1120, 1130, 1140)을 도시한 것이다. 복수의 키 프레임(1110, 1120, 1130, 1140)은 패닝 구간 내에서 서로 중첩되는 배경 이미지를 가지는 프레임으로 선택될 수 있으며, 이에 대한 영상 처리 프로세스를 통해 파노라믹 동영상이 생성될 수 있다.
구체적으로, 제어부(120)는 선택된 복수의 키 프레임(1110, 1120, 1130, 1140)의 대상 오브젝트와 배경 이미지를 분리할 수 있다. 여기서 대상 오브젝트는 기 설정된 변이량 이상의 값을 가지는 무빙 오브젝트이며, 본 실시 예에서는 비행기(1010)가 대상 오브젝트가 된다. 제어부(120)는 대상 오브젝트가 분리된 배경 이미지들에 대한 특징점을 산출하고, 산출된 특징점들을 매칭시킬 수 있다. 이 후, 제어부(120)는 매칭된 특징점 데이터들을 이용하여 복수의 배경 이미지를 스티칭 및 블렌딩하고, 홀 필링 기법으로 대상 오브젝트가 빠져나간 빈 공간을 처리하여 최종적으로 파노라믹 배경 이미지(1150)를 생성할 수 있다. 이에 따라, 동영상 처리 장치(100'')를 가로화면으로 회전시킨 경우, 동영상이 축소됨으로써 생기는 낭비공간을 패닝 촬영으로 획득한 추가 영역으로 활용할 수 있다.
도 12는 본 발명의 일 실시 예에 따른, 파노라믹 동영상이 디스플레이되는 방법을 설명하기 위한 도면이다.
도 12에 도시된 바와 같이, 촬영된 동영상에 상술한 영상 처리를 수행하여 파노라믹 동영상 구간이 생성된 경우, 동영상의 재생 시에 파노라믹 동영상이 생성되었음을 표시하는 인디케이터(Indicator)(1210)를 표시할 수 있다. 이 때, 사용자는 표시된 인디케이터를 터치하거나 리모컨 조작을 통해 선택하여, 파노라믹 이미지의 재생을 명령할 수 있다. 명령이 입력되면, 제어부(120)는 파노라믹 동영상을 재생하거나 파노라믹 동영상이 전체 재생 구간 중 일부에 생성된 경우 파노라믹 동영상이 생성된 구간(파노라믹 동영상 구간)을 영상 하단의 컨트롤 바 등에 표시할 수 있다. 따라서, 재생 프레임이 파노라믹 동영상 구간에 다다르거나, 사용자가 해당 구간을 터치 패널 또는 리모컨 등의 인터페이스부를 통해 선택하면 파노라믹 동영상(1250)이 디스플레이된다.
인디케이터는, 동영상 화면에 중첩되어 표시될 수 있고, 파노라믹 동영상의 특성에 따라 인디케이터의 크기, 모양, 위치 및 색상 등이 다르게 변경되어 표시될 수 있다. 예를 들어, 인디케이터의 모양은 파노라믹 동영상의 종횡비와 동일한 비율로 표시될 수 있다.
인디케이터의 형태는 상술한 실시 예에 한정되지 않으며, 다양한 방법으로 표시될 수 있다. 예를 들어, 인디케이터는 재생목록의 영상 리스트에 텍스트 또는 아이콘의 형태로 표시될 수도 있다.
한편, 파노라믹 동영상의 생성 여부 및 생성 구간 등의 정보는 동영상 파일 내 메타데이터 정보로서 저장될 수 있다.
도 13은 본 발명의 일 실시 예에 따른, 파노라믹 동영상이 생성되는 방법을 설명하기 위한 흐름도이다.
먼저, 카메라에 의해 촬영된 동영상을 저장한다(S1310). 이 때, 동영상은 한 개의 카메라에 의해 촬영된 동영상 또는 복수의 카메라에 의해 각각 다른 각도에서 촬영된 복수의 동영상일 수 있다. 이 후, 동영상 내에 포함된 복수의 키 프레임 내의 대상 오브젝트 및 배경 이미지를 각각 분리한다(S1320). 여기서, 동영상 내의 일련의 프레임 중 변이량이 큰 프레임이 키 프레임으로 검출될 수 있으며, 이 외에도 동영상의 FPS 정보 또는 카메라의 자세 정보 등을 이용하여 검출될 수도 있다. 이 후, 분리된 각 배경 이미지를 스티칭한 후 대상 오브젝트를 합성하여 파노라믹 이미지를 획득하고, 획득된 파노라믹 이미지를 시간축으로 정합하여 파노라믹 동영상을 생성한다(S1330). 구체적으로, 파노라믹 이미지는, 대상 오브젝트가 분리된 배경 이미지들에 대한 특징점들을 산출하고, 산출된 특징점들을 매칭시키는 단계, 매칭된 특징점 데이터들을 이용하여 복수의 배경 이미지를 스티칭하는 단계, 스티칭된 배경 이미지를 블렌딩하는 단계 및, 블렌딩된 배경 이미지를 홀 필링 처리하는 단계를 수행하여 생성될 수 있다.
도 14는 본 발명의 다른 실시 예에 따른, 파노라믹 동영상이 생성되는 방법을 설명하기 위한 흐름도이다.
먼저, 동영상 처리 장치에 구비된 카메라에 의해 동영상을 촬영하고(S1410), 영상 촬영 중의 동영상 처리 장치의 움직임을 감지한다(S1420). 이 때, 동영상 처리 장치에 구비된 카메라에서 움직임이 감지되는 동안에 촬영된 동영상 구간을 패닝 구간으로 판단할 수 있다. 이 후, 카메라에 의해 촬영된 동영상을 저장하고(S1430), 동영상을 구성하는 전체 프레임 중 동영상 처리 장치의 움직임이 감지되는 동안 촬영된 동영상 구간 내의 프레임들로부터 복수의 키 프레임을 선택한다(S1440). 이 후, 동영상에 포함된 복수의 키 프레임 내의 대상 오브젝트 및 배경 이미지를 각각 분리한다(S1450). 이 후, 분리된 각 배경 이미지를 스티칭한 후 대상 오브젝트를 합성하여 파노라믹 이미지를 획득하고, 획득한 파노라믹 이미지를 시간축으로 정합하여 파노라믹 동영상을 생성한다(S1460).
상술한 다양한 실시 예에 따른 동영상 처리 장치의 제어 방법은 프로그램으로 구현되어 동영상 처리 장치에 제공될 수 있다.
한편, 본 발명은, 동영상을 처리하여 파노라믹 동영상을 생성한다는 점에서 동영상 처리 장치라고 명명하였으나, 파노라믹 동영상 생성 장치. 파노라믹 이미지 생성 장치, 파노라믹 이미지 처리 장치 등으로 명명하여도 무방하다.
일 예로, 동영상에 포함된 복수의 키 프레임 내의 대상 오브젝트 및 배경 이미지를 각각 분리하는 단계 및 분리된 각 배경 이미지를 스티칭한 후 대상 오브젝트를 합성하여 파노라믹 이미지를 생성하는 단계를 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100: 이미지 처리 장치 110: 저장부
120: 제어부 130: 디스플레이부
140: 인터페이스부

Claims (21)

  1. 동영상을 저장하는 저장부; 및
    상기 동영상에 포함된 복수의 키 프레임(key frame) 내의 대상 오브젝트 및 배경 이미지를 각각 분리하고, 분리된 각 배경 이미지를 스티칭(stitching)한 후 상기 대상 오브젝트를 합성하여 파노라믹(panoramic) 이미지를 획득하고, 상기 획득된 파노라믹 이미지를 시간축으로 정합하여 파노라믹 동영상을 생성하는 제어부;를 포함하는 동영상 처리 장치.
  2. 제1항에 있어서,
    상기 제어부는,
    상기 동영상을 구성하는 전체 프레임 중에서 상기 카메라가 패닝(panning)하면서 촬영한 패닝 구간 내의 프레임들로부터 상기 복수의 키 프레임을 선택하는 것을 특징으로 하는 동영상 처리 장치.
  3. 제2항에 있어서,
    동영상을 촬영하기 위한 카메라; 및
    상기 동영상 처리 장치의 움직임을 감지하기 위한 움직임 감지 센서;를 더 포함하고,
    상기 제어부는,
    상기 움직임 감지 센서에서 상기 동영상 처리 장치의 패닝 움직임이 감지되는 동안 촬영된 동영상 구간을 상기 패닝 구간으로 판단하는 것을 특징으로 하는 동영상 처리 장치.
  4. 제2항에 있어서,
    상기 제어부는,
    상기 동영상을 구성하는 각 프레임 내에 포함된 오브젝트 특성을 분석하여, 중첩된 배경 이미지를 가지는 복수의 프레임을 상기 키 프레임으로 선택하는 것을 특징으로 하는 동영상 처리 장치.
  5. 제1항에 있어서,
    상기 동영상을 디스플레이하기 위한 디스플레이부;를 더 포함하며,
    상기 제어부는,
    상기 동영상이 재생되면, 상기 동영상 내에서 상기 복수의 키 프레임이 디스플레이될 타이밍에 상기 파노라믹 이미지를 디스플레이하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 동영상 처리 장치.
  6. 제1항에 있어서,
    상기 제어부는,
    상기 대상 오브젝트의 이동을 표현하기 위하여 상기 대상 오브젝트의 표시 위치 및 형태를 순차적으로 변화시킨 복수의 파노라믹 이미지를 상기 키 프레임의 개수와 동일 개수만큼 생성하고, 상기 복수의 키 프레임을 상기 복수의 파노라믹 이미지로 대체하여 상기 저장부에 저장하는 것을 특징으로 하는 동영상 처리 장치.
  7. 제1항에 있어서,
    상기 제어부는,
    EDID(Extended Display Identification Data) 정보를 기반으로 상기 파노라믹 동영상의 최대 종횡비를 결정하고, 상기 결정된 최대 종횡비를 갖도록 상기 파노라믹 동영상을 생성하는 것을 특징으로 하는 동영상 처리 장치.
  8. 제1항에 있어서,
    상기 제어부는,
    상기 복수의 키 프레임의 배경 이미지가 상호 정렬되도록 상기 복수의 키 프레임을 조정한 후, 조정된 각 키 프레임을 이용하여 상기 파노라믹 동영상을 생성하는 것을 특징으로 하는 동영상 처리 장치.
  9. 제5항에 있어서,
    상기 제어부는,
    상기 파노라믹 동영상이 생성되었음을 표시하는 인디케이터(Indicator)를 상기 디스플레이부에 표시하는 것을 특징으로 하는 동영상 처리 장치.
  10. 제9항에 있어서,
    상기 제어부는,
    상기 동영상이 재생되어 동영상 화면이 상기 디스플레이부에 디스플레이되면, 상기 동영상 화면에 상기 인디케이터를 중첩시켜 표시하고, 상기 파노라믹 동영상의 특성에 따라 상기 인디케이터의 크기, 모양, 위치 및 색상 중 적어도 하나를 변경하는 것을 특징으로 하는 동영상 처리 장치.
  11. 동영상을 저장하는 단계;
    상기 동영상에 포함된 복수의 키 프레임 내의 대상 오브젝트 및 배경 이미지를 각각 분리하는 단계; 및
    분리된 각 배경 이미지를 스티칭한 후 상기 대상 오브젝트를 합성하여 파노라믹 이미지를 획득하고, 상기 획득된 파노라믹 이미지를 시간축으로 정합하여 파노라믹 동영상을 생성하는 단계;를 포함하는 파노라믹 동영상 생성 방법.
  12. 제11항에 있어서,
    상기 복수의 키 프레임은,
    상기 동영상을 구성하는 전체 프레임 중에서 상기 카메라가 패닝하면서 촬영한 패닝 구간 내의 프레임들로부터 선택되는 것을 특징으로 하는 파노라믹 동영상 생성 방법.
  13. 제12항에 있어서,
    상기 카메라를 구비한 동영상 처리 장치의 움직임을 감지하는 단계;를 더 포함하고,
    상기 패닝 구간은,
    상기 동영상 처리 장치의 움직임이 감지되는 동안 촬영된 동영상 구간인 것을 특징으로 하는 파노라믹 동영상 생성 방법.
  14. 제12항에 있어서,
    상기 동영상을 구성하는 각 프레임 내에 포함된 오브젝트 특성을 분석하여, 중첩된 배경 이미지를 가지는 복수의 프레임을 상기 복수의 키 프레임으로 선택하는 단계;를 더 포함하는 것을 특징으로 하는 파노라믹 동영상 생성 방법.
  15. 제11항에 있어서,
    상기 파노라믹 이미지를 디스플레이하는 단계;를 더 포함하며,
    상기 동영상이 재생되면, 상기 동영상 내에서 상기 복수의 키 프레임이 디스플레이될 타이밍에 상기 파노라믹 이미지를 디스플레이하는 것을 특징으로 하는 파노라믹 동영상 생성 방법.
  16. 제11항에 있어서,
    상기 대상 오브젝트의 이동을 표현하기 위하여 상기 대상 오브젝트의 표시 위치 및 형태를 순차적으로 변화시킨 복수의 파노라믹 이미지를 상기 키 프레임의 개수와 동일 개수만큼 생성하는 단계; 및
    상기 복수의 키 프레임을 상기 복수의 파노라믹 이미지로 대체하여 저장하는 단계;를 더 포함하는 것을 특징으로 하는 파노라믹 동영상 생성 방법.
  17. 제11항에 있어서,
    EDID 정보를 기반으로 상기 파노라믹 동영상의 최대 종횡비를 결정하는 단계;를 더 포함하는 것을 특징으로 하는 파노라믹 동영상 생성 방법.
  18. 제11항에 있어서,
    상기 파노라믹 동영상을 생성하는 단계는,
    상기 복수의 키 프레임의 배경 이미지가 상호 정렬되도록 상기 복수의 키 프레임을 조정한 후, 조정된 각 키 프레임을 이용하여 상기 파노라믹 동영상을 생성하는 것을 특징으로 하는 파노라믹 동영상 생성 방법.
  19. 제15항에 있어서,
    상기 파노라믹 동영상을 디스플레이하는 단계는,
    상기 파노라믹 동영상이 생성되었음을 표시하는 인디케이터를 표시하는 것을 특징으로 하는 파노라믹 동영상 생성 방법.
  20. 제19항에 있어서,
    상기 파노라믹 동영상을 디스플레이하는 단계는,
    상기 동영상이 재생되어 동영상 화면이 디스플레이되면, 상기 동영상 화면에 상기 인디케이터를 중첩시켜 표시하고, 상기 파노라믹 동영상의 특성에 따라 상기 인디케이터의 크기, 모양, 위치 및 색상 중 적어도 하나를 변경하는 것을 특징으로 하는 파노라믹 동영상 생성 방법.
  21. 제12항에 있어서,
    파노라마 동영상의 종횡비는 패닝 구간에서의 범위 설정 및 키 프레임의 선택 범위에 따라 달라질 수 있는 것을 특징으로 하는 파노라믹 동영상 생성 방법.
KR1020140106795A 2014-08-18 2014-08-18 파노라믹 동영상을 생성하는 동영상 처리 장치 및 그 방법 KR101946019B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020140106795A KR101946019B1 (ko) 2014-08-18 2014-08-18 파노라믹 동영상을 생성하는 동영상 처리 장치 및 그 방법
US14/804,687 US10334162B2 (en) 2014-08-18 2015-07-21 Video processing apparatus for generating panoramic video and method thereof
CN201510508376.8A CN105376500B (zh) 2014-08-18 2015-08-18 用于产生全景视频的视频处理设备及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140106795A KR101946019B1 (ko) 2014-08-18 2014-08-18 파노라믹 동영상을 생성하는 동영상 처리 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20160021501A true KR20160021501A (ko) 2016-02-26
KR101946019B1 KR101946019B1 (ko) 2019-04-22

Family

ID=55303092

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140106795A KR101946019B1 (ko) 2014-08-18 2014-08-18 파노라믹 동영상을 생성하는 동영상 처리 장치 및 그 방법

Country Status (3)

Country Link
US (1) US10334162B2 (ko)
KR (1) KR101946019B1 (ko)
CN (1) CN105376500B (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017150847A3 (ko) * 2016-02-29 2018-08-02 (주)에프엑스기어 광 시야각 영상 처리 시스템, 광 시야각 영상의 전송 및 재생 방법, 및 이를 위한 컴퓨터 프로그램
KR101976288B1 (ko) 2017-12-05 2019-05-07 서울과학기술대학교 산학협력단 다시점 영상 생성 방법
US10832411B2 (en) 2016-09-09 2020-11-10 Samsung Electronics Co., Ltd. Electronic apparatus and method of controlling the same
KR102282117B1 (ko) * 2020-01-31 2021-07-27 엘지전자 주식회사 인공지능 디스플레이 장치
KR20210133112A (ko) * 2020-04-27 2021-11-05 베이징 시아오미 파인콘 일렉트로닉스 컴퍼니 리미티드 비디오 처리 방법, 장치 및 저장 매체
WO2023008684A1 (ko) * 2021-07-26 2023-02-02 삼성전자 주식회사 이미지를 생성하는 전자 장치 및 그 동작 방법

Families Citing this family (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10726560B2 (en) * 2014-10-31 2020-07-28 Fyusion, Inc. Real-time mobile device capture and generation of art-styled AR/VR content
US10275935B2 (en) 2014-10-31 2019-04-30 Fyusion, Inc. System and method for infinite synthetic image generation from multi-directional structured image array
US10262426B2 (en) 2014-10-31 2019-04-16 Fyusion, Inc. System and method for infinite smoothing of image sequences
US9940541B2 (en) 2015-07-15 2018-04-10 Fyusion, Inc. Artificially rendering images using interpolation of tracked control points
US10726593B2 (en) 2015-09-22 2020-07-28 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US10176592B2 (en) 2014-10-31 2019-01-08 Fyusion, Inc. Multi-directional structured image array capture on a 2D graph
CN106157235A (zh) * 2015-04-03 2016-11-23 阿里巴巴集团控股有限公司 图片合成方法、装置及即时通信方法、图片合成服务器
JP2016208234A (ja) * 2015-04-21 2016-12-08 三星ダイヤモンド工業株式会社 撮像装置
US9704298B2 (en) * 2015-06-23 2017-07-11 Paofit Holdings Pte Ltd. Systems and methods for generating 360 degree mixed reality environments
US10147211B2 (en) 2015-07-15 2018-12-04 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US11095869B2 (en) 2015-09-22 2021-08-17 Fyusion, Inc. System and method for generating combined embedded multi-view interactive digital media representations
US10222932B2 (en) 2015-07-15 2019-03-05 Fyusion, Inc. Virtual reality environment based manipulation of multilayered multi-view interactive digital media representations
US11006095B2 (en) 2015-07-15 2021-05-11 Fyusion, Inc. Drone based capture of a multi-view interactive digital media
US10852902B2 (en) 2015-07-15 2020-12-01 Fyusion, Inc. Automatic tagging of objects on a multi-view interactive digital media representation of a dynamic entity
US10242474B2 (en) 2015-07-15 2019-03-26 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US11783864B2 (en) 2015-09-22 2023-10-10 Fyusion, Inc. Integration of audio into a multi-view interactive digital media representation
US9699380B2 (en) * 2015-11-03 2017-07-04 Intel Corporation Fusion of panoramic background images using color and depth data
WO2017091019A1 (en) * 2015-11-27 2017-06-01 Samsung Electronics Co., Ltd. Electronic device and method for displaying and generating panoramic image
US9911213B2 (en) * 2015-12-18 2018-03-06 Ricoh Co., Ltd. Panoramic image stitching using objects
US9781349B2 (en) * 2016-01-05 2017-10-03 360fly, Inc. Dynamic field of view adjustment for panoramic video content
US10051180B1 (en) * 2016-03-04 2018-08-14 Scott Zhihao Chen Method and system for removing an obstructing object in a panoramic image
US10601889B1 (en) * 2016-04-06 2020-03-24 Ambarella International Lp Broadcasting panoramic videos from one server to multiple endpoints
US10681325B2 (en) * 2016-05-16 2020-06-09 Google Llc Continuous depth-ordered image compositing
US10432855B1 (en) * 2016-05-20 2019-10-01 Gopro, Inc. Systems and methods for determining key frame moments to construct spherical images
CN106327531B (zh) * 2016-08-18 2019-10-01 成都虚拟世界科技有限公司 全景视频的识别方法及设备、播放视频方法及设备
CN106254940B (zh) * 2016-09-23 2019-11-01 北京疯景科技有限公司 播放全景内容的方法及装置
US11202017B2 (en) 2016-10-06 2021-12-14 Fyusion, Inc. Live style transfer on a mobile device
CN106649570A (zh) * 2016-11-15 2017-05-10 歌尔科技有限公司 一种判定360度全景图片的方法和装置
CN106776831A (zh) * 2016-11-24 2017-05-31 维沃移动通信有限公司 一种多媒体组合数据的编辑方法及移动终端
CN106683051A (zh) * 2016-12-29 2017-05-17 北京奇艺世纪科技有限公司 一种图像拼接方法及装置
US10437879B2 (en) 2017-01-18 2019-10-08 Fyusion, Inc. Visual search using multi-view interactive digital media representations
US10313651B2 (en) 2017-05-22 2019-06-04 Fyusion, Inc. Snapshots at predefined intervals or angles
US11069147B2 (en) 2017-06-26 2021-07-20 Fyusion, Inc. Modification of multi-view interactive digital media representation
KR101856546B1 (ko) * 2017-06-29 2018-05-11 링크플로우 주식회사 영상에서 처리 대상 객체를 제거하는 방법 및 이러한 방법을 수행하는 장치
WO2019000427A1 (zh) * 2017-06-30 2019-01-03 深圳市大疆创新科技有限公司 一种图像处理方法、装置及电子设备
US11122258B2 (en) * 2017-06-30 2021-09-14 Pcms Holdings, Inc. Method and apparatus for generating and displaying 360-degree video based on eye tracking and physiological measurements
CN109214979B (zh) * 2017-07-04 2020-09-29 北京京东尚科信息技术有限公司 用于在全景视频中融合对象的方法和装置
JP7085812B2 (ja) * 2017-08-02 2022-06-17 キヤノン株式会社 画像処理装置およびその制御方法
WO2019031306A1 (ja) * 2017-08-07 2019-02-14 シャープ株式会社 生成装置、再生装置、生成方法、再生方法、制御プログラム、記録媒体
CN109842740A (zh) * 2017-11-24 2019-06-04 富泰华工业（深圳）有限公司 全景摄像机、图像处理***及图像处理方法
TWI662841B (zh) * 2018-03-21 2019-06-11 鴻海精密工業股份有限公司 影像播放裝置
EP3561771A1 (en) 2018-04-23 2019-10-30 Koninklijke Philips N.V. Automated subject monitoring for medical imaging
US10592747B2 (en) 2018-04-26 2020-03-17 Fyusion, Inc. Method and apparatus for 3-D auto tagging
JP7051570B2 (ja) * 2018-05-09 2022-04-11 キヤノン株式会社 撮像制御装置、撮像制御装置の制御方法およびプログラム
TWI678920B (zh) * 2018-05-23 2019-12-01 宏碁股份有限公司 影片處理裝置、其影片處理方法及電腦程式產品
CN108921867A (zh) * 2018-06-01 2018-11-30 天津煋鸟科技有限公司 一种全景图像的运动检测和人体识别方法
CN111263208B (zh) * 2018-11-30 2022-11-04 杭州海康威视数字技术股份有限公司 一种画面合成方法、装置、电子设备及存储介质
US10838599B2 (en) 2019-02-25 2020-11-17 Snap Inc. Custom media overlay system
US11558562B2 (en) * 2019-09-06 2023-01-17 LINE Plus Corporation Apparatus and method for providing 360-degree panoramic background during video call
CN112565625A (zh) * 2019-09-26 2021-03-26 北京小米移动软件有限公司 视频处理方法、装置及介质
CN112995491B (zh) * 2019-12-13 2022-09-16 阿里巴巴集团控股有限公司 视频生成方法、装置、电子设备及计算机存储介质
CN113469200A (zh) 2020-03-30 2021-10-01 阿里巴巴集团控股有限公司 数据处理方法和***、存储介质、计算设备
CN111325665A (zh) * 2020-04-07 2020-06-23 同创蓝天投资管理（北京）有限公司 基于网络全景图的视频轻量嵌入方法
CN111866523B (zh) * 2020-07-24 2022-08-12 北京爱笔科技有限公司 全景视频合成方法、装置、电子设备和计算机存储介质
GB202109804D0 (en) * 2021-07-07 2021-08-18 Mo Sys Engineering Ltd image stitching
CN113099248B (zh) * 2021-03-19 2023-04-28 广州方硅信息技术有限公司 全景视频填补方法、装置、设备及存储介质
CN113064530A (zh) * 2021-04-26 2021-07-02 上海哔哩哔哩科技有限公司 图像处理方法及装置
CN113572978A (zh) * 2021-07-30 2021-10-29 北京房江湖科技有限公司 全景视频的生成方法和装置
CN114581611B (zh) * 2022-04-28 2022-09-20 阿里巴巴（中国）有限公司 虚拟场景构建方法以及装置
CN115379114A (zh) * 2022-07-19 2022-11-22 阿里巴巴（中国）有限公司 全景视频处理方法、装置及电子设备
WO2024090674A1 (en) * 2022-10-29 2024-05-02 Samsung Electronics Co., Ltd. Method and apparatus for stitching frames of image comprising moving objects
CN116112675B (zh) * 2023-04-11 2023-06-09 深圳市海威恒泰智能科技有限公司 一种视频编码方法和视频编码***
CN117953470B (zh) * 2024-03-26 2024-06-18 杭州感想科技有限公司 全景拼接相机的高速公路事件识别方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100134641A1 (en) * 2008-12-01 2010-06-03 Samsung Electronics Co., Ltd. Image capturing device for high-resolution images and extended field-of-view images
KR20100120187A (ko) * 2008-02-01 2010-11-12 액티브비디오 네트웍스, 인코포레이티드 대화형 텔레비전 환경에서의 자동 비디오 프로그램 녹화
US20110234750A1 (en) * 2010-03-24 2011-09-29 Jimmy Kwok Lap Lai Capturing Two or More Images to Form a Panoramic Image
US20120254369A1 (en) * 2011-03-29 2012-10-04 Sony Corporation Method, apparatus and system

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070030396A1 (en) 2005-08-05 2007-02-08 Hui Zhou Method and apparatus for generating a panorama from a sequence of video frames
JP4333708B2 (ja) * 2006-08-02 2009-09-16 コニカミノルタビジネステクノロジーズ株式会社 電子ファイルの生成においてその生成に係る入力データを処理するための方法、装置、およびコンピュータプログラム
US8086044B2 (en) * 2006-08-25 2011-12-27 Ricoh Co., Ltd. Block-based iterative multi-pass data filling technique for compound document compression
US8368720B2 (en) * 2006-12-13 2013-02-05 Adobe Systems Incorporated Method and apparatus for layer-based panorama adjustment and editing
US20100265313A1 (en) 2009-04-17 2010-10-21 Sony Corporation In-camera generation of high quality composite panoramic images
JP5189568B2 (ja) 2009-08-10 2013-04-24 日本電信電話株式会社 画像合成装置，画像合成方法および画像合成プログラム
KR20110124448A (ko) 2010-05-11 2011-11-17 한국전자통신연구원 파노라마 형태의 리치 미디어 제공 장치 및 그 방법
JP5269026B2 (ja) * 2010-09-29 2013-08-21 日立建機株式会社 作業機械の周囲監視装置
US9618746B2 (en) * 2010-11-19 2017-04-11 SA Photonics, Inc. High resolution wide field of view digital night vision system
GB2489674A (en) * 2011-03-29 2012-10-10 Sony Corp 3D image generation
JP5845608B2 (ja) * 2011-03-31 2016-01-20 株式会社ニデック 眼科撮影装置
CN102201115B (zh) 2011-04-07 2013-12-11 湖南天幕智能科技有限公司 无人机航拍视频实时全景图拼接方法
US20140037213A1 (en) * 2011-04-11 2014-02-06 Liberovision Ag Image processing
KR101818778B1 (ko) 2012-03-23 2018-01-16 한국전자통신연구원 실감 파노라마 영상 생성을 위한 3ｄ 데이터 포맷 생성／소비 장치 및 방법
US9516223B2 (en) 2012-06-06 2016-12-06 Apple Inc. Motion-based image stitching
WO2016134048A1 (en) * 2015-02-17 2016-08-25 Nextvr Inc. Methods and apparatus for generating and using reduced resolution images and/or communicating such images to a playback or content distribution device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100120187A (ko) * 2008-02-01 2010-11-12 액티브비디오 네트웍스, 인코포레이티드 대화형 텔레비전 환경에서의 자동 비디오 프로그램 녹화
US20100134641A1 (en) * 2008-12-01 2010-06-03 Samsung Electronics Co., Ltd. Image capturing device for high-resolution images and extended field-of-view images
US20110234750A1 (en) * 2010-03-24 2011-09-29 Jimmy Kwok Lap Lai Capturing Two or More Images to Form a Panoramic Image
US20120254369A1 (en) * 2011-03-29 2012-10-04 Sony Corporation Method, apparatus and system

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017150847A3 (ko) * 2016-02-29 2018-08-02 (주)에프엑스기어 광 시야각 영상 처리 시스템, 광 시야각 영상의 전송 및 재생 방법, 및 이를 위한 컴퓨터 프로그램
US10832411B2 (en) 2016-09-09 2020-11-10 Samsung Electronics Co., Ltd. Electronic apparatus and method of controlling the same
KR101976288B1 (ko) 2017-12-05 2019-05-07 서울과학기술대학교 산학협력단 다시점 영상 생성 방법
KR102282117B1 (ko) * 2020-01-31 2021-07-27 엘지전자 주식회사 인공지능 디스플레이 장치
US11399143B2 (en) 2020-01-31 2022-07-26 Lg Electronics Inc. Artificial intelligence display device
KR20210133112A (ko) * 2020-04-27 2021-11-05 베이징 시아오미 파인콘 일렉트로닉스 컴퍼니 리미티드 비디오 처리 방법, 장치 및 저장 매체
US11368632B2 (en) 2020-04-27 2022-06-21 Beijing Xiaomi Pinecone Electronics Co., Ltd. Method and apparatus for processing video, and storage medium
WO2023008684A1 (ko) * 2021-07-26 2023-02-02 삼성전자 주식회사 이미지를 생성하는 전자 장치 및 그 동작 방법

Also Published As

Publication number Publication date
US20160050368A1 (en) 2016-02-18
CN105376500A (zh) 2016-03-02
US10334162B2 (en) 2019-06-25
KR101946019B1 (ko) 2019-04-22
CN105376500B (zh) 2021-04-06

Similar Documents

Publication Publication Date Title
KR101946019B1 (ko) 파노라믹 동영상을 생성하는 동영상 처리 장치 및 그 방법
US10367997B2 (en) Enriched digital photographs
US9167164B2 (en) Metadata associated with frames in a moving image
US10939140B2 (en) Selective capture and presentation of native image portions
US10574933B2 (en) System and method for converting live action alpha-numeric text to re-rendered and embedded pixel information for video overlay
US20150036050A1 (en) Television control apparatus and associated method
CN106296589B (zh) 全景图像的处理方法及装置
CN102469261A (zh) 成像设备，成像显示控制方法和程序
US10115431B2 (en) Image processing device and image processing method
CN105939497B (zh) 媒体串流***及媒体串流方法
US11211097B2 (en) Generating method and playing method of multimedia file, multimedia file generation apparatus and multimedia file playback apparatus
JP6400293B2 (ja) 電子装置でコンテンツを制御する装置及びその方法
CN108965711B (zh) 视频处理方法及装置
AU2019271924B2 (en) System and method for adjusting an image for a vehicle mounted camera
JP2014086787A (ja) 再生制御装置、再生制御方法及びプログラム
JP2006005452A (ja) 画像合成装置及び画像合成システム
US20130044258A1 (en) Method for presenting video content on a hand-held electronic device
JP2014123908A (ja) 画像処理装置、画像切り出し方法、及びプログラム
US20150162049A1 (en) Image processing device, image processing method, and program
CN110929056B (zh) 多媒体文件的产生方法与播放方法、产生装置与播放装置
CN115225944B (zh) 视频处理方法、装置、电子设备和计算机可读存储介质
JP5089648B2 (ja) 映像比較装置，映像比較方法，映像比較プログラムおよび映像比較プログラムの記録媒体
JP2012004713A (ja) 画像処理装置、画像処理装置の制御方法、プログラム、及び記録媒体

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant