KR20190114276A - Method for processing composite video and apparatus for the same - Google Patents
Method for processing composite video and apparatus for the same Download PDFInfo
- Publication number
- KR20190114276A KR20190114276A KR1020180036730A KR20180036730A KR20190114276A KR 20190114276 A KR20190114276 A KR 20190114276A KR 1020180036730 A KR1020180036730 A KR 1020180036730A KR 20180036730 A KR20180036730 A KR 20180036730A KR 20190114276 A KR20190114276 A KR 20190114276A
- Authority
- KR
- South Korea
- Prior art keywords
- composite video
- source videos
- stitching
- information
- video
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Studio Devices (AREA)
Abstract
Description
본 개시는 영상 또는 동영상 처리 기술에 관한 것이며, 보다 구체적으로는 동기화된 복수의 영상 또는 동영상을 조합한 합성 동영상을 처리하는 방법 및 장치에 대한 것이다.The present disclosure relates to a video or video processing technology, and more particularly, to a method and apparatus for processing a composite video combining a plurality of synchronized video or video.
고해상도 영상을 재생할 수 있는 디스플레이나, VR(Virtual Reality) 재생 장치들의 보급으로 인해, 이와 관련된 컨텐츠들(예, 고해상도 동영상 컨텐츠, 파노라마 동영상 컨텐츠, VR 컨텐츠 등)의 제작방밥에 대한 연구가 활발하게 이루어지고 있다. Due to the dissemination of displays capable of playing high resolution images and virtual reality (VR) playback devices, research on the production of related contents (eg, high resolution video contents, panoramic video contents, VR contents, etc.) has been actively conducted. ought.
고해상도 동영상 컨텐츠, 파노라마 동영상 컨텐츠, VR 컨텐츠 등을 촬영하기 위한 전용기기들이 보급되고 있지만, 전용 카메라 모듈과 부품을 구비하고 있어 높은 가격으로 보급되고 있다. 또한, 이러한 장비들은 대부분 촬영이 끝난 후 후처리 소프트웨어를 이용하여 영상을 정합하기 때문에 촬영과 동시에 영상 확인 및 정합이 불가능하다는 한계를 갖는다.Dedicated devices for capturing high-definition video content, panoramic video content, VR content, etc. are being distributed, but they are being distributed at high prices because they have dedicated camera modules and parts. In addition, since most of these equipments match images using post-processing software after the shooting is completed, there is a limit that it is impossible to check and match the images at the same time.
실시간 파노라마 영상 제작을 위해서는 많은 개선점이 필요하지만 그 중 먼저 선행되어야 하는 것은 소스 동영상들의 정합 방법의 최적화이다. 기존의 동영상 정합 방법들은 실시간으로 촬영되는 동영상이 아닌 정지 영상 위주였고, 수행 시간보다는 동영상의 품질 중심으로 한 연구였기 때문에 실시간으로 고해상도의 동영상을 정합하기가 어려운 문제가 있다. Many improvements are required for real-time panorama image production, but the first of these is optimization of the matching method of source videos. Conventional video matching methods are mainly based on still images, not videos taken in real time, and the research focuses on quality of video rather than execution time, so it is difficult to match high resolution videos in real time.
본 개시의 기술적 과제는 복수의 소스 동영상을 이용하여 합성 동영상을 생성하면서 중첩영역에서 발생하는 문제를 최소화할 수 있는 합성 동영상 처리 방법 및 장치를 제공하는 것이다. An object of the present disclosure is to provide a method and apparatus for processing a composite video, which can minimize a problem occurring in an overlapped area while generating a composite video using a plurality of source videos.
본 개시에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.Technical problems to be achieved in the present disclosure are not limited to the above-mentioned technical problems, and other technical problems not mentioned above will be clearly understood by those skilled in the art from the following description. Could be.
본 개시의 일 양상에 따르면 합성 동영상 처리 방법이 제공된다. 상기 방법은 복수의 카메라 장치로부터 각각 동기화되어 입력되는 복수의 기준 소스 동영상에 기초하여, 상기 복수의 기준 소스 동영상을 조합한 기준 합성 동영상을 생성하고, 상기 복수의 기준 소스 동영상에 포함되는 픽셀 영역과, 상기 기준 합성 동영상에 포함되는 픽셀 영역 사이의 위치 관계를 정의한 기준 스티칭 정보를 생성하는 과정과, 상기 복수의 카메라 장치로부터 각각 동기화되어 입력되는 복수의 소스 동영상을 확인하는 과정과, 상기 기준 스티칭 정보를 기준으로, 상기 복수의 소스 동영상을 조합한 스티칭 영상을 생성하는 과정과, 상기 스티칭 영상에서 상기 복수의 소스 동영상의 시차가 발생되는 시차 발생 영역을 확인하는 과정과, 상기 시차 발생 영역을 기준으로, 상기 복수의 소스 동영상의 위상 상관 정보를 반영하여, 상기 합성 동영상을 생성하는 과정을 포함할 수 있다.According to an aspect of the present disclosure, a method for processing a composite video is provided. The method may generate a reference composite video combining the plurality of reference source videos based on a plurality of reference source videos inputted in synchronization from a plurality of camera apparatuses, and include a pixel area included in the plurality of reference source videos. Generating reference stitching information that defines a positional relationship between pixel regions included in the reference synthesized video, checking a plurality of source videos that are respectively synchronized from the plurality of camera devices, and the reference stitching information. A step of generating a stitching image combining the plurality of source videos, a step of identifying a parallax generating region where parallaxes of the plurality of source videos are generated in the stitching image, and based on the parallax generating region Reflecting phase correlation information of the plurality of source videos and It may include the process of creating a movie.
본 개시에 대하여 위에서 간략하게 요약된 특징들은 후술하는 본 개시의 상세한 설명의 예시적인 양상일 뿐이며, 본 개시의 범위를 제한하는 것은 아니다.The features briefly summarized above with respect to the present disclosure are merely exemplary aspects of the detailed description of the present disclosure described below, and do not limit the scope of the present disclosure.
본 개시에 따르면, 복수의 소스 동영상을 이용하여 합성 동영상을 생성하면서 중첩영역에서 발생하는 시차문제를 최소화할 수 있는 합성 동영상 처리 방법 및 장치가 제공될 수 있다. According to the present disclosure, there may be provided a composite video processing method and apparatus capable of minimizing a parallax problem occurring in an overlapped area while generating a composite video using a plurality of source videos.
또한, 본 개시에 따른 합성 동영상 처리 방법 및 장치는, 물리적으로 하나의 원점을 가질 수 없는 멀티 카메라로부터 획득되는 소스 동영상을 사용하여 컨텐츠를 생성하는 장치에 다양하게 응용 및 적용될 수 있다. In addition, the method and apparatus for processing a composite video according to the present disclosure may be variously applied and applied to an apparatus for generating content by using a source video obtained from a multi-camera that cannot physically have one origin.
본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The effects obtainable in the present disclosure are not limited to the above-mentioned effects, and other effects not mentioned above may be clearly understood by those skilled in the art from the following description. will be.
도 1은 본 개시의 일 실시예에 따른 합성 동영상 처리 장치에 의해 합성 동영상이 생성되는 동작을 설명하는 도면이다.
도 2는 본 개시의 일 실시예에 따른 합성 동영상 처리 장치에 구비되는 합성 동영상 처리부의 상게 구성을 예시하는 블록도이다.
도 3은 본 개시의 일 실시예에 따른 합성 동영상 처리 장치에 의해 처리되는 기준 소스 동영상과 기준 합성 동영상을 예시하는 도면이다.
도 4는 본 개시의 일 실시예에 따른 합성 동영상 처리 장치에 의해 생성되는 기준 스티칭 정보를 예시하는 도면이다.
도 5a는 본 개시의 일 실시예에 따른 합성 동영상 처리 장치에 의해 생성되는 스티칭 영상을 예시하는 도면이다.
도 5b는 본 개시의 일 실시예에 따른 합성 동영상 처리 장치에 의해 생성되는 합성 동영상을 예시하는 도면이다.
도 6은 본 개시의 일 실시예에 따른 합성 동영상 처리 방법의 순서를 도시하는 흐름도이다.
도 7은 본 개시의 일 실시예에 따른 합성 동영상 처리 장치 및 방법을 실행하는 컴퓨팅 시스템을 예시하는 블록도이다. 1 is a diagram illustrating an operation of generating a synthesized moving image by the synthesized moving image processing apparatus according to an embodiment of the present disclosure.
2 is a block diagram illustrating a configuration of a synthesized video processing unit included in the synthesized video processing apparatus according to an exemplary embodiment.
3 is a diagram illustrating a reference source video and a reference composite video processed by the composite video processing apparatus according to an embodiment of the present disclosure.
4 is a diagram illustrating reference stitching information generated by a composite video processing apparatus according to an embodiment of the present disclosure.
5A is a diagram illustrating a stitching image generated by the composite video processing apparatus according to an embodiment of the present disclosure.
5B is a diagram illustrating a composite video generated by the composite video processing apparatus according to an embodiment of the present disclosure.
6 is a flowchart illustrating a procedure of a composite video processing method according to an embodiment of the present disclosure.
7 is a block diagram illustrating a computing system executing a composite video processing apparatus and method according to an embodiment of the present disclosure.
이하에서는 첨부한 도면을 참고로 하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. Hereinafter, exemplary embodiments of the present disclosure will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the present disclosure. As those skilled in the art would realize, the described embodiments may be modified in various different ways, all without departing from the spirit or scope of the present invention.
본 개시의 실시 예를 설명함에 있어서 공지 구성 또는 기능에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다. 그리고, 도면에서 본 개시에 대한 설명과 관계없는 부분은 생략하였으며, 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.In describing the embodiments of the present disclosure, when it is determined that a detailed description of a known structure or function may obscure the gist of the present disclosure, a detailed description thereof will be omitted. In the drawings, parts irrelevant to the description of the present disclosure are omitted, and like reference numerals designate like parts.
본 개시에 있어서, 어떤 구성요소가 다른 구성요소와 "연결", "결합" 또는 "접속"되어 있다고 할 때, 이는 직접적인 연결관계뿐만 아니라, 그 중간에 또 다른 구성요소가 존재하는 간접적인 연결관계도 포함할 수 있다. 또한 어떤 구성요소가 다른 구성요소를 "포함한다" 또는 "가진다"고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 배제하는 것이 아니라 또 다른 구성요소를 더 포함할 수 있는 것을 의미한다.In the present disclosure, when a component is "connected", "coupled" or "connected" with another component, it is not only a direct connection, but also an indirect connection in which another component exists in the middle. It may also include. In addition, when a component "includes" or "having" another component, it means that it may further include another component, without excluding the other component unless otherwise stated. .
본 개시에 있어서, 제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 특별히 언급되지 않는 한 구성요소들간의 순서 또는 중요도 등을 한정하지 않는다. 따라서, 본 개시의 범위 내에서 일 실시 예에서의 제1 구성요소는 다른 실시 예에서 제2 구성요소라고 칭할 수도 있고, 마찬가지로 일 실시 예에서의 제2 구성요소를 다른 실시 예에서 제1 구성요소라고 칭할 수도 있다. In the present disclosure, terms such as first and second are used only for the purpose of distinguishing one component from other components, and do not limit the order or importance between the components unless specifically mentioned. Accordingly, within the scope of the present disclosure, a first component in one embodiment may be referred to as a second component in another embodiment, and likewise, a second component in one embodiment may be referred to as a first component in another embodiment. It may also be called.
본 개시에 있어서, 서로 구별되는 구성요소들은 각각의 특징을 명확하게 설명하기 위함이며, 구성요소들이 반드시 분리되는 것을 의미하지는 않는다. 즉, 복수의 구성요소가 통합되어 하나의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있고, 하나의 구성요소가 분산되어 복수의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있다. 따라서, 별도로 언급하지 않더라도 이와 같이 통합된 또는 분산된 실시 예도 본 개시의 범위에 포함된다. In the present disclosure, components that are distinguished from each other are for clearly describing each feature, and do not necessarily mean that the components are separated. That is, a plurality of components may be integrated into one hardware or software unit, or one component may be distributed and formed into a plurality of hardware or software units. Therefore, even if not mentioned otherwise, such integrated or distributed embodiments are included in the scope of the present disclosure.
본 개시에 있어서, 다양한 실시 예에서 설명하는 구성요소들이 반드시 필수적인 구성요소들은 의미하는 것은 아니며, 일부는 선택적인 구성요소일 수 있다. 따라서, 일 실시 예에서 설명하는 구성요소들의 부분집합으로 구성되는 실시 예도 본 개시의 범위에 포함된다. 또한, 다양한 실시 예에서 설명하는 구성요소들에 추가적으로 다른 구성요소를 포함하는 실시 예도 본 개시의 범위에 포함된다. In the present disclosure, components described in various embodiments are not necessarily required components, and some may be optional components. Therefore, an embodiment composed of a subset of components described in an embodiment is also included in the scope of the present disclosure. In addition, embodiments including other components in addition to the components described in the various embodiments are included in the scope of the present disclosure.
이하, 첨부한 도면을 참조하여 본 개시의 실시 예들에 대해서 설명한다.Hereinafter, embodiments of the present disclosure will be described with reference to the accompanying drawings.
도 1은 본 개시의 일 실시예에 따른 합성 동영상 처리 장치에 의해 합성 동영상이 생성되는 동작을 설명하는 도면이다.1 is a diagram illustrating an operation of generating a synthesized moving image by the synthesized moving image processing apparatus according to an embodiment of the present disclosure.
합성 동영상 처리 장치(10)는 복수의 카메라 장치(11-1, 11-2, 11-3)를 포함할 수 있다. 특히, 복수의 카메라 장치(11-1, 11-2, 11-3)에 구비되는 렌즈부는 각각 서로 다른 방향에 존재하는 피사체를 촬영하도록 배치되며, 복수의 카메라 장치(11-1, 11-2, 11-3)에 구비되는 이미지 센서는 각각 서로 다른 촬영영역을 촬영한 복수의 소스 동영상을 획득할 수 있다. 이때, 복수의 소스 동영상 각각은 이웃한 카메라 장치로부터 획득되는 소스 동영상과 일부 영역이 중첩될 수 있다. The composite video processing apparatus 10 may include a plurality of camera devices 11-1, 11-2, and 11-3. In particular, the lens units included in the plurality of camera apparatuses 11-1, 11-2, and 11-3 are arranged to photograph subjects existing in different directions, respectively, and the plurality of camera apparatuses 11-1, 11-2 are provided. , 11-3) may acquire a plurality of source videos of capturing different photographing areas. In this case, each of the plurality of source videos may overlap the source video obtained from a neighboring camera device and a partial region.
또한, 합성 동영상 처리 장치(10)는 합성 동영상 처리부(15)를 포함할 수 있으며, 합성 동영상 처리부(15)는 복수의 카메라 장치(11-1, 11-2, 11-3)로부터 획득되는 복수의 소스 동영상을 동기화하고, 동기화된 복수의 소스 동영상을 조합하여 실시간으로 합성 동영상을 생성 및 저장할 수 있다.In addition, the composite video processing apparatus 10 may include a composite
예를 들어, 복수의 카메라 장치(11-1, 11-2, 11-3)가 동일한 시간에 획득되는 복수의 소스 동영상(100-1, 100-2, 100-3)을 제공함에 따라, 합성 동영상 처리부(15)는 복수의 카메라 장치(11-1, 11-2, 11-3)의 배치 관계를 고려하여, 복수의 소스 동영상(100-1, 100-2, 100-3)으로부터 중복 영역(101-1, 101-2)을 검출한다. 그리고, 합성 동영상 처리부(15)는 제1중복 영역(101-1)을 기준으로 제1 소스 동영상(100-1)과 제2 소스 동영상(100-2)을 스티칭하고, 제2중복 영역(101-2)을 기준으로 제2 소스 동영상(100-2)과 제3 소스 동영상(100-3)을 스티칭하여 스티칭 영상을 구성할 수 있다. For example, as the plurality of camera apparatuses 11-1, 11-2, and 11-3 provide a plurality of source videos 100-1, 100-2, and 100-3 obtained at the same time, the synthesis is performed. The
또한, 합성 동영상 처리부(15)는 제1 내제 제3소스 동영상(100-1, 100-2, 100-3)의 위상 상관 정보(phase correlation)를 반영하여 스티칭 영상을 보정함으로써 합성 동영상을 생성할 수 있다.In addition, the
이하, 합성 동영상 처리부(15)가 위상 상관 정보(phase correlation)를 반영하여 합성 동영상을 생성하는 동작에 대해 상세히 설명한다.Hereinafter, an operation of generating a composite video by reflecting phase correlation information by the synthesized
도 2는 본 개시의 일 실시예에 따른 합성 동영상 처리 장치에 구비되는 합성 동영상 처리부의 상게 구성을 예시하는 블록도이다. 2 is a block diagram illustrating a configuration of a synthesized moving picture processing unit included in the synthesized moving picture processing device according to an embodiment of the present disclosure.
도 2를 참조하면, 합성 동영상 처리부(20)는 기준 스티칭 정보 생성부(21)와, 스티칭 영상 생성부(23)와, 시차 발생 영역 확인부(25)와, 합성 동영상 생성부(27)를 포함할 수 있다.Referring to FIG. 2, the composite
우선, 기준 스티칭 정보 생성부(21)는 복수의 카메라 장치(11-1, 11-2, 11-3)로부터 각각 촬영되는 복수의 기준 소스 동영상을 확인하고, 상기 복수의 기준 소스 동영상을 조합한 기준 합성 동영상을 생성할 수 있다. 그리고, 기준 스티칭 정보 생성부(21)는 복수의 기준 소스 동영상에 포함되는 픽셀 영역과, 상기 기준 합성 동영상에 포함되는 픽셀 영역 사이의 위치 관계를 정의한 기준 스티칭 정보를 생성할 수 있다. First, the reference stitching
예컨대, 기준 스티칭 정보 생성부(21)는 복수의 카메라 장치(11-1, 11-2, 11-3)로 기준 소스 동영상의 촬영을 요청하고, 복수의 카메라 장치(11-1, 11-2, 11-3)에 의해 촬영되는 복수의 기준 소스 동영상(301-1, 301-2, 301-3, ..., 도 3참조)을 입력받을 수 있다. 기준 스티칭 정보 생성부(21)는 복수의 카메라 장치(11-1, 11-2, 11-3)의 촬영 방향, 배열 상태 등을 고려하여 복수의 기준 소스 동영상들(301-1, 301-2, 301-3, ...)을 합성한 기준 합성 동영상(350)을 생성할 수 있다. 이때, 기준 스티칭 정보 생성부(21)는 복수의 기준 소스 동영상들(301-1, 301-2, 301-3, ...)에 포함된 픽셀과, 기준 합성 동영상(350)에 포함되는 픽셀 사이의 위치 관계를 나타내는 기준 스티칭 정보를 생성할 수 있다. For example, the reference stitching
예컨대, 기준 스티칭 정보는 복수의 기준 소스 동영상(301-1, 301-2, 301-3, ...)에 포함되는 각 픽셀의 좌표가 기준 합성 동영상(350)에서 위치되는 좌표를 나타내는 정보일 수 있다. For example, the reference stitching information may be information indicating coordinates at which the coordinates of each pixel included in the plurality of reference source videos 301-1, 301-2, 301-3, ... are positioned in the reference synthesized
기준 스티칭 정보(400, 도 4참조)는 기준 소스 동영상(301-1, 301-2, 301-3, ...)에 포함되는 각 픽셀의 좌표와, 기준 합성 동영상에 포함되는 픽셀의 좌표를 맵핑한 룩업 테이블(Look-Up Table)(410)을 포함할 수 있다. 또한, 기준 스티칭 정보는 복수의 기준 소스 동영상들(301-1, 301-2, 301-3, ...)이 중복되는 중복 영역(360-1, 360-2, ...)을 대상으로, 복수의 기준 소스 동영상들(301-1, 301-2, 301-3, ...)에 포함된 픽셀의 값을 조합하는 방식을 나타내는 정보(예컨대, 블랜딩 표시 정보(Blending Mask))(420)를 더 포함할 수 있다.The reference stitching information 400 (refer to FIG. 4) indicates coordinates of each pixel included in the reference source videos 301-1, 301-2, 301-3, and ... and coordinates of the pixels included in the reference composite video. A mapped look-up table may be included. In addition, the reference stitching information is for the overlapped areas 360-1, 360-2,... Where the plurality of reference source videos 301-1, 301-2, 301-3, ... overlap. Information indicating a method of combining values of pixels included in the plurality of reference source videos 301-1, 301-2, 301-3,... (Ie, blending indication information (Blending Mask)) 420. ) May be further included.
나아가, 기준 스티칭 정보 생성부(21)는 기준 소스 동영상(301-1, 301-2, 301-3, ...)을 미리 정해진 단위로 분할하고, 분할된 지점(control point)(310)에 대응되는 픽셀을 사용하여 기준 스티칭 정보를 구성할 수 있다. 예컨대, 기준 소스 동영상이 1920××1080 단위의 해상도로 이루어지고, 미리 정해진 단위를 '60'으로 설정할 경우, 기준 스티칭 정보 생성부(21)는 기준 소스 동영상(301-1, 301-2, 301-3, ...)을 가로 및 세로 영역을 '60'으로 분할하고, 분할된 지점(310)에 대응되는 픽셀, 즉, 가로 영역의 1920 단위를 60으로 분할한 32번째 단위에 위치한 픽셀과, 세로 영역의 1080 단위를 60으로 분할한 18번째 위치한 픽셀의 영역을 분할 지점(310)으로 설정할 수 있다. 그리고, 기준 스티칭 정보 생성부(21)는 분할 지점(310)이 기준 합성 동영상에서 위치하는 픽셀의 좌표를 맵핑한 룩업 테이블(Look-Up Table)을 생성할 수 있다.In addition, the reference
나아가, 기준 스티칭 정보 생성부(21)가 기준 소스 동영상(301-1, 301-2, 301-3, ...)을 분할하는 미리 정해진 단위는 다양하게 변경될 수 있다. 예컨대, 미리 정해진 단위를 '1'로 설정할 경우, 기준 스티칭 정보 생성부(21)는 1920××1080 개의 분할 지점에 대한 룩업 테이블(Look-Up Table)을 생성할 수 있다.In addition, the predetermined unit for dividing the reference source videos 301-1, 301-2, 301-3,... By the reference
기준 스티칭 정보 생성부(21)는 입력되는 복수의 소스 동영상의 장면전환을 확인하고, 장면 전환이 발생되는 소스 동영상을 사용하여 기준 스티칭 정보를 재구성하고, 장면 정환이 발생되지 않는 소스 동영상에 대해서는 기준 스티칭 정보에 포함된 룩업 테이블의 값을 업데이트하는 동작을 수행할 수 있다. The reference stitching
기준 스티칭 정보 생성부(21)는 입력되는 복수의 소스 동영상의 압축 또는 부호화 과정에서 획득되는 정보를 바탕으로, 기준 스티칭 정보를 생성할 수 있다. 예컨대, 입력되는 소스 동영상의 압축 또는 부호화 과정에서 확인되는 프레임의 종류(I 프레임, P 프레임, B 프레임 등)를 확인하고, 소스 동영상의 장면전환 여부를 결정할 수 있다. The reference
기준 스티칭 정보 생성부(21)는 전술한 동작을 통해 생성한 기준 스티칭 정보를 스티칭 영상 생성부(23)에 제공할 수 있다. The reference
한편, 스티칭 영상 생성부(23)는 복수의 카메라 장치(11-1, 11-2, 11-3)로부터 각각 입력되는 복수의 소스 동영상을 확인할 수 있다. 그리고, 스티칭 영상 생성부(23)는 기준 스티칭 정보를 바탕으로, 복수의 소스 동영상을 조합하여 스티칭 영상(500, 도 5a참조)을 생성할 수 있다. The
스티칭 영상 생성부(23)는 전술한 동작을 통해 생성한 스티칭 영상(500)을 시차 발생 영역 확인부(25)에 제공할 수 있다. 이에 대응하여, 시차 발생 영역 확인부(25)는 스티칭 영상에서 시차 발생 영역(520)을 검출할 수 있다. The stitching
구체적으로, 시차 발생 영역 확인부(25)는 중복 영역(510)을 기준으로 시차 발생 영역(520)을 검출하는 것이 바람직하다. 이를 위해, 시차 발생 영역 확인부(25)는 기준 스티칭 정보에 기초하여, 스티칭 영상에 포함되는 중복 영역(510)을 확인할 수 있다. 그리고, 시차 발생 영역 확인부(25)는 중복 영역(510)을 대상으로 시차 발생 영역(520)을 결정할 수 있다. 여기서, 시차 발생 영역 확인부(25)는 기준 스티칭 정보 생성부(21)가 생성한 기준 합성 동영상과 스티칭 영상 사이의 차분값을 연산하고, 연산된 결과를 사용하여 시차 발생 영역(520)을 결정할 수 있다. In detail, the parallax generating
합성 동영상 생성부(27)는 상기 시차 발생 영역(520)을 기준으로, 상기 복수의 소스 동영상의 위상 상관 정보(phase correlation)를 반영하여, 상기 합성 동영상을 생성할 수 있다. The
구체적으로, 합성 동영상 생성부(27)는 중복 영역(510)에 대응되는 소스 동영상에 대한 위상 상관 정보(phase correlation)를 확인할 수 있다. 예컨대, 합성 동영상 생성부(27)는 소스 동영상의 해당 영역에서 x, y translation값을 산출하고, 이를 위상 상관 정보로서 결정할 수 있다. 그리고, 합성 동영상 생성부(27)는 위상 상관 정보를 시차 발생 영역(520) 주변의 분할 지점(550, 도 5b 참조)에 적용할 수 있다. In detail, the
나아가, 합성 동영상 생성부(27)는 중복 영역(510)과 비 중복 영역(515)을 구분하여 위상 상관 정보를 반영하는 것이 바람직하다. In addition, the
구체적으로, 합성 동영상 생성부(27)는 중복 영역(510) 내에 존재하는 분할 지점(550)에는 전술한 위상 상관 정보를 적용할 수 있다. 그리고, 합성 동영상 생성부(27)는 영상 분석 등을 통해 시차 발생 영역(520)내에서, 시차를 유발하는 객체(560)를 추출하고, 객체의 크기나, 객체에 대한 움직임 정보(예, 모션 벡터 등)를 추정할 수 있다. In detail, the
합성 동영상 생성부(27)는 객체(560)의 크기나, 객체에 대한 움직임 정보를 반영하여 전술한 위상 상관 정보를 적용할 수 있다. 예를 들어, 합성 동영상 생성부(27)는 객체(560)가 오른쪽 방향으로 움직이는 것을 확인함에 따라, 오른쪽 방향에 위치되는 소스 동영상(570)을 대상으로, 추청된 객체(560)의 크기에 대응되는 영역의 분할 지점(550)의 좌표를 이동시킬 수 있다. The composite
즉, 합성 동영상 생성부(27)는 소스 동영상(570)의 비 중복 영역(575)을 미리 정해진 개수로 분할하고, 분할된 개수에 대응되는 비율로 전술한 위상 상관 정보를 적용할 수 있다. 예컨대, 합성 동영상 생성부(27)는 소스 동영상(570)의 비 중복 영역(575)을 10개의 영역으로 분할하고, 중복 영역에 가장 근접한 분할영역(575a)의 분할 지점에는 위상 상관 정보의 90%의 값을 적용하고, 중복 영역에서 2번째로 근접한 분할영역(575b)의 분할 지점에는 위상 상관 정보의 80%의 값을 적용할 수 있다. 이와 마찬가지로, 합성 동영상 생성부(27)는 중복 영역에서 3번째부터 10번째로 근접한 분할영역(575c, 575d, 575e, 575f, 575g, 575h, 575i)의 분할 지점에는 각각 위상 상관 정보의 70%부터 10%의 값을 적용할 수 있으며, 중복 영역에서 10번째로 근접한 분할영역(575j)의 분할 지점에는 위상 상관 정보를 반영하지 않고, 기준 스티칭 정보를 기준으로 생성된 스티칭 영상의 값을 그대로 적용할 수 있다. That is, the
나아가, 합성 동영상 생성부(27)는 전술한 동작을 통해 검출된 시차 발생 영역을 기준 스티칭 정보 생성부(21)에 제공할 수 있으며, 기준 스티칭 정보 생성부(21)는 상기 시차 발생 영역을 반영하여, 전술한 기준 스티칭 정보에 포함된 룩업 테이블의 값을 업데이트할 수 있다.Furthermore, the
전술한 합성 동영상 처리 장치(10)가 파노라마 동영상을 생성하는 동작을 중심으로 설명하지만, 본 개시가 이를 한정하는 것은 아니다. 본 개시의 기술분야에서 통상의 지식을 가진자는 파노라마 동영상을 생성하는 방식에 기초하여 다양한 형식의 합성 동영상을 생성할 수 있다. Although the above-described composite video processing apparatus 10 will be described based on the operation of generating the panoramic video, the present disclosure is not limited thereto. One of ordinary skill in the art may generate a composite video of various formats based on a method of generating a panoramic video.
도 6은 본 개시의 일 실시예에 따른 합성 동영상 처리 방법의 순서를 도시하는 흐름도이다. 6 is a flowchart illustrating a procedure of a composite video processing method according to an embodiment of the present disclosure.
본 개시의 일 실시예에 따른 합성 동영상 처리 방법은 전술한 합성 동영상 처리 장치에 의해 수행될 수 있다. The composite video processing method according to an embodiment of the present disclosure may be performed by the above-described composite video processing apparatus.
우선, S601 단계에서, 합성 동영상 처리 장치는 복수의 카메라 장치로부터 각각 촬영되는 복수의 기준 소스 동영상을 확인하고, 상기 복수의 기준 소스 동영상을 조합한 기준 합성 동영상을 생성할 수 있다. 그리고, 합성 동영상 처리 장치는 복수의 기준 소스 동영상에 포함되는 픽셀 영역과, 상기 기준 합성 동영상에 포함되는 픽셀 영역 사이의 위치 관계를 정의한 기준 스티칭 정보를 생성할 수 있다. First, in operation S601, the composite video processing apparatus may identify a plurality of reference source videos respectively captured by the plurality of camera apparatuses, and generate a reference composite video combining the plurality of reference source videos. The synthesized video processing apparatus may generate reference stitching information that defines a positional relationship between the pixel areas included in the plurality of reference source videos and the pixel areas included in the reference synthesized video.
예컨대, 합성 동영상 처리 장치는 복수의 카메라 장치로 기준 소스 동영상의 촬영을 요청하고, 복수의 카메라 장치에 의해 촬영되는 복수의 기준 소스 동영상(301-1, 301-2, 301-3, ..., 도 3참조)을 입력받을 수 있다. 합성 동영상 처리 장치는 복수의 카메라 장치의 촬영 방향, 배열 상태 등을 고려하여 복수의 기준 소스 동영상들(301-1, 301-2, 301-3, ...)을 합성한 기준 합성 동영상(350)을 생성할 수 있다. 이때, 합성 동영상 처리 장치는 복수의 기준 소스 동영상들(301-1, 301-2, 301-3, ...)에 포함된 픽셀과, 기준 합성 동영상(350)에 포함되는 픽셀 사이의 위치 관계를 나타내는 기준 스티칭 정보를 생성할 수 있다. For example, the composite video processing apparatus requests photographing of a reference source video from a plurality of camera devices, and the plurality of reference source videos 301-1, 301-2, 301-3,... , See FIG. 3). The synthesized video processing apparatus is configured to synthesize a plurality of reference source videos 301-1, 301-2, 301-3, ... in consideration of the recording direction and the arrangement state of the plurality of camera devices. ) Can be created. In this case, the synthesized video processing apparatus may include a positional relationship between pixels included in the plurality of reference source videos 301-1, 301-2, 301-3, and pixels included in the reference synthesized
예컨대, 기준 스티칭 정보는 복수의 기준 소스 동영상(301-1, 301-2, 301-3, ...)에 포함되는 각 픽셀의 좌표가 기준 합성 동영상(350)에서 위치되는 좌표를 나타내는 정보일 수 있다. For example, the reference stitching information may be information indicating coordinates at which the coordinates of each pixel included in the plurality of reference source videos 301-1, 301-2, 301-3, ... are positioned in the reference synthesized
기준 스티칭 정보(400, 도 4참조)는 기준 소스 동영상(301-1, 301-2, 301-3, ...)에 포함되는 각 픽셀의 좌표와, 기준 합성 동영상에 포함되는 픽셀의 좌표를 맵핑한 룩업 테이블(Look-Up Table)(410)을 포함할 수 있다. 또한, 기준 스티칭 정보는 복수의 기준 소스 동영상들(301-1, 301-2, 301-3, ...)이 중복되는 중복 영역(360-1, 360-2, ...)을 대상으로, 복수의 기준 소스 동영상들(301-1, 301-2, 301-3, ...)에 포함된 픽셀의 값을 조합하는 방식을 나타내는 정보(예컨대, 블랜딩 표시 정보(Blending Mask))(420)를 더 포함할 수 있다.The reference stitching information 400 (refer to FIG. 4) indicates coordinates of each pixel included in the reference source videos 301-1, 301-2, 301-3, and ... and coordinates of the pixels included in the reference composite video. A mapped look-up table may be included. In addition, the reference stitching information is for the overlapped areas 360-1, 360-2,... Where the plurality of reference source videos 301-1, 301-2, 301-3, ... overlap. Information indicating a method of combining values of pixels included in the plurality of reference source videos 301-1, 301-2, 301-3,... (Ie, blending indication information (Blending Mask)) 420. ) May be further included.
나아가, 합성 동영상 처리 장치는 기준 소스 동영상(301-1, 301-2, 301-3, ...)을 미리 정해진 단위로 분할하고, 분할된 지점(control point)(310)에 대응되는 픽셀을 사용하여 기준 스티칭 정보를 구성할 수 있다. 예컨대, 기준 소스 동영상이 1920××1080 단위의 해상도로 이루어지고, 미리 정해진 단위를 '60'으로 설정할 경우, 기준 스티칭 정보 생성부(21)는 기준 소스 동영상(301-1, 301-2, 301-3, ...)을 가로 및 세로 영역을 '60'으로 분할하고, 분할된 지점(310)에 대응되는 픽셀, 즉, 가로 영역의 1920 단위를 60으로 분할한 32번째 단위에 위치한 픽셀과, 세로 영역의 1080 단위를 60으로 분할한 18번째 위치한 픽셀의 영역을 분할 지점(310)으로 설정할 수 있다. 그리고, 합성 동영상 처리 장치는 분할 지점(310)이 기준 합성 동영상에서 위치하는 픽셀의 좌표를 맵핑한 룩업 테이블(Look-Up Table)을 생성할 수 있다.Furthermore, the composite video processing apparatus divides the reference source videos 301-1, 301-2, 301-3, ... into predetermined units, and divides the pixels corresponding to the divided control points 310. Can be used to construct reference stitching information. For example, when the reference source video has a resolution of 1920 ×× 1080 units and the predetermined unit is set to '60', the reference stitching
나아가, 합성 동영상 처리 장치가 기준 소스 동영상(301-1, 301-2, 301-3, ...)을 분할하는 미리 정해진 단위는 다양하게 변경될 수 있다. 예컨대, 미리 정해진 단위를 '1'로 설정할 경우, 기준 스티칭 정보 생성부(21)는 1920××1080 개의 분할 지점에 대한 룩업 테이블(Look-Up Table)을 생성할 수 있다.Furthermore, the predetermined unit for dividing the reference source videos 301-1, 301-2, 301-3,... By the synthesized video processing apparatus may be variously changed. For example, when the predetermined unit is set to '1', the reference stitching
합성 동영상 처리 장치는 입력되는 복수의 소스 동영상의 장면전환을 확인하고, 장면 전환이 발생되는 소스 동영상을 사용하여 기준 스티칭 정보를 재구성하고, 장면 정환이 발생되지 않는 소스 동영상에 대해서는 기준 스티칭 정보에 포함된 룩업 테이블의 값을 업데이트하는 동작을 수행할 수 있다. The composite video processing apparatus checks the scene transitions of the input source video, reconstructs the reference stitching information using the source video where the scene transition occurs, and includes the reference stitching information for the source video where scene switching does not occur. The operation of updating a value of the lookup table may be performed.
합성 동영상 처리 장치는 입력되는 복수의 소스 동영상의 압축 또는 부호화 과정에서 획득되는 정보를 바탕으로, 기준 스티칭 정보를 생성할 수 있다. 예컨대, 입력되는 소스 동영상의 압축 또는 부호화 과정에서 확인되는 프레임의 종류(I 프레임, P 프레임, B 프레임 등)를 확인하고, 소스 동영상의 장면전환 여부를 결정할 수 있다. The synthesized video processing apparatus may generate reference stitching information based on information obtained during the compression or encoding process of the input source video. For example, the type of frame (I frame, P frame, B frame, etc.) checked in the compression or encoding process of the input source video may be checked, and the scene transition may be determined.
한편, S602 단계에서, 합성 동영상 처리 장치는 복수의 카메라 장치로부터 각각 입력되는 복수의 소스 동영상을 확인할 수 있다. 그리고, S603 단계에서, 합성 동영상 처리 장치는 기준 스티칭 정보를 바탕으로, 복수의 소스 동영상을 조합하여 스티칭 영상(500, 도 5a참조)을 생성할 수 있다. In operation S602, the composite video processing apparatus may identify a plurality of source videos input from the plurality of camera devices, respectively. In operation S603, the composite video processing apparatus may generate a stitching image 500 (see FIG. 5A) by combining a plurality of source videos based on the reference stitching information.
그리고, S604 단계에서, 합성 동영상 처리 장치는 스티칭 영상에서 시차 발생 영역(520)을 검출할 수 있다. In operation S604, the composite video processing apparatus may detect a
구체적으로, 합성 동영상 처리 장치는 중복 영역(510)을 기준으로 시차 발생 영역(520)을 검출하는 것이 바람직하다. 이를 위해, 합성 동영상 처리 장치는 기준 스티칭 정보에 기초하여, 스티칭 영상에 포함되는 중복 영역(510)을 확인할 수 있다. 그리고, 합성 동영상 처리 장치는 중복 영역(520)을 대상으로 시차 발생 영역(520)을 결정할 수 있다. 여기서, 합성 동영상 처리 장치는 S601 단계에서 생성된 기준 합성 동영상과 스티칭 영상 사이의 차분값을 연산하고, 연산된 결과를 사용하여 시차 발생 영역(520)을 결정할 수 있다. In detail, the composite video processing apparatus preferably detects the
S605 단계에서, 합성 동영상 처리 장치는 상기 시차 발생 영역(520)을 기준으로, 상기 복수의 소스 동영상의 위상 상관 정보(phase correlation)를 반영하여, 상기 합성 동영상을 생성할 수 있다. In operation S605, the composite video processing apparatus may generate the composite video by reflecting phase correlation information of the plurality of source videos based on the
구체적으로, 합성 동영상 처리 장치는 중복 영역(510)에 대응되는 소스 동영상에 대한 위상 상관 정보(phase correlation)를 확인할 수 있다. 예컨대, 합성 동영상 처리 장치는 소스 동영상의 해당 영역에서 x, y translation값을 산출하고, 이를 위상 상관 정보로서 결정할 수 있다. 그리고, 합성 동영상 처리 장치는 위상 상관 정보를 시차 발생 영역(520) 주변의 분할 지점(550, 도 5b 참조)에 적용할 수 있다. In detail, the composite video processing apparatus may check phase correlation information on the source video corresponding to the overlapped
나아가, 합성 동영상 처리 장치는 중복 영역(510)과 비 중복 영역(515)을 구분하여 위상 상관 정보를 반영하는 것이 바람직하다. Furthermore, the composite video processing apparatus may classify the overlapped
구체적으로, 합성 동영상 처리 장치는 중복 영역(510) 내에 존재하는 분할 지점(550)에는 전술한 위상 상관 정보를 적용할 수 있다. 그리고, 합성 동영상 처리 장치는 영상 분석 등을 통해 시차 발생 영역(520)내에서, 시차를 유발하는 객체(560)를 추출하고, 객체의 크기나, 객체에 대한 움직임 정보(예, 모션 벡터 등)를 추정할 수 있다. In detail, the composite video processing apparatus may apply the above-described phase correlation information to the
합성 동영상 처리 장치는 객체(560)의 크기나, 객체에 대한 움직임 정보를 반영하여 전술한 위상 상관 정보를 적용할 수 있다. 예를 들어, 합성 동영상 처리 장치는 객체(560)가 오른쪽 방향으로 움직이는 것을 확인함에 따라, 오른쪽 방향에 위치되는 소스 동영상(570)을 대상으로, 추청된 객체(560)의 크기에 대응되는 영역의 분할 지점(550)의 좌표를 이동시킬 수 있다. The composite video processing apparatus may apply the above-described phase correlation information by reflecting the size of the object 560 or the motion information of the object. For example, when the composite video processing apparatus determines that the object 560 moves in the right direction, the composite video processing apparatus may be configured to target the
즉, 합성 동영상 처리 장치는 소스 동영상(570)의 비 중복 영역(575)을 미리 정해진 개수로 분할하고, 분할된 개수에 대응되는 비율로 전술한 위상 상관 정보를 적용할 수 있다. 예컨대, 합성 동영상 처리 장치는 소스 동영상(570)의 비 중복 영역(575)을 10개의 영역으로 분할하고, 중복 영역에 가장 근접한 분할영역(575a)의 분할 지점에는 위상 상관 정보의 90%의 값을 적용하고, 중복 영역에서 2번째로 근접한 분할영역(575b)의 분할 지점에는 위상 상관 정보의 80%의 값을 적용할 수 있다. 이와 마찬가지로, 합성 동영상 처리 장치는 중복 영역에서 3번째부터 10번째로 근접한 분할영역(575c, 575d, 575e, 575f, 575g, 575h, 575i)의 분할 지점에는 각각 위상 상관 정보의 70%부터 10%의 값을 적용할 수 있으며, 중복 영역에서 10번째로 근접한 분할영역(575j)의 분할 지점에는 위상 상관 정보를 반영하지 않고, 기준 스티칭 정보를 기준으로 생성된 스티칭 영상의 값을 그대로 적용할 수 있다. That is, the composite video processing apparatus may divide the
나아가, 합성 동영상 처리 장치는 전술한 동작을 통해 검출된 시차 발생 영역을 반영하여, 전술한 기준 스티칭 정보에 포함된 룩업 테이블의 값을 업데이트할 수 있다.Furthermore, the composite video processing apparatus may update the value of the lookup table included in the above-described reference stitching information by reflecting the parallax generating region detected through the above-described operation.
도 7은 본 개시의 일 실시예에 따른 합성 동영상 처리 장치 및 방법을 실행하는 컴퓨팅 시스템을 예시하는 블록도이다. 7 is a block diagram illustrating a computing system executing a composite video processing apparatus and method according to an embodiment of the present disclosure.
도 7을 참조하면, 컴퓨팅 시스템(1000)은 버스(1200)를 통해 연결되는 적어도 하나의 프로세서(1100), 메모리(1300), 사용자 인터페이스 입력 장치(1400), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다.Referring to FIG. 7, the
프로세서(1100)는 중앙 처리 장치(CPU) 또는 메모리(1300) 및/또는 스토리지(1600)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 메모리(1300) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 불휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1300)는 ROM(Read Only Memory) 및 RAM(Random Access Memory)을 포함할 수 있다. The
따라서, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1100)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1300) 및/또는 스토리지(1600))에 상주할 수도 있다. 예시적인 저장 매체는 프로세서(1100)에 커플링되며, 그 프로세서(1100)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1100)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.Thus, the steps of a method or algorithm described in connection with the embodiments disclosed herein may be embodied directly in hardware, software module, or a combination of the two executed by the
본 개시의 예시적인 방법들은 설명의 명확성을 위해서 동작의 시리즈로 표현되어 있지만, 이는 단계가 수행되는 순서를 제한하기 위한 것은 아니며, 필요한 경우에는 각각의 단계가 동시에 또는 상이한 순서로 수행될 수도 있다. 본 개시에 따른 방법을 구현하기 위해서, 예시하는 단계에 추가적으로 다른 단계를 포함하거나, 일부의 단계를 제외하고 나머지 단계를 포함하거나, 또는 일부의 단계를 제외하고 추가적인 다른 단계를 포함할 수도 있다.Exemplary methods of the present disclosure are represented as a series of operations for clarity of description, but are not intended to limit the order in which the steps are performed, and each step may be performed simultaneously or in a different order as necessary. In order to implement the method according to the present disclosure, the illustrated step may further include other steps, may include other steps except some, or may include additional other steps except some.
본 개시의 다양한 실시 예는 모든 가능한 조합을 나열한 것이 아니고 본 개시의 대표적인 양상을 설명하기 위한 것이며, 다양한 실시 예에서 설명하는 사항들은 독립적으로 적용되거나 또는 둘 이상의 조합으로 적용될 수도 있다.The various embodiments of the present disclosure are not an exhaustive list of all possible combinations and are intended to describe representative aspects of the present disclosure, and the matters described in the various embodiments may be applied independently or in combination of two or more.
또한, 본 개시의 다양한 실시 예는 하드웨어, 펌웨어(firmware), 소프트웨어, 또는 그들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 범용 프로세서(general processor), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다. In addition, various embodiments of the present disclosure may be implemented by hardware, firmware, software, or a combination thereof. For hardware implementations, one or more Application Specific Integrated Circuits (ASICs), Digital Signal Processors (DSPs), Digital Signal Processing Devices (DSPDs), Programmable Logic Devices (PLDs), Field Programmable Gate Arrays (FPGAs), General Purpose It may be implemented by a general processor, a controller, a microcontroller, a microprocessor, and the like.
본 개시의 범위는 다양한 실시 예의 방법에 따른 동작이 장치 또는 컴퓨터 상에서 실행되도록 하는 소프트웨어 또는 머신-실행가능한 명령들(예를 들어, 운영체제, 애플리케이션, 펌웨어(firmware), 프로그램 등), 및 이러한 소프트웨어 또는 명령 등이 저장되어 장치 또는 컴퓨터 상에서 실행 가능한 비-일시적 컴퓨터-판독가능 매체(non-transitory computer-readable medium)를 포함한다. It is intended that the scope of the disclosure include software or machine-executable instructions (eg, an operating system, an application, firmware, a program, etc.) to cause an operation in accordance with various embodiments of the method to be executed on an apparatus or a computer, and such software or Instructions, and the like, including non-transitory computer-readable media that are stored and executable on a device or computer.
Claims (1)
복수의 카메라 장치로부터 각각 동기화되어 입력되는 복수의 기준 소스 동영상에 기초하여, 상기 복수의 기준 소스 동영상을 조합한 기준 합성 동영상을 생성하고, 상기 복수의 기준 소스 동영상에 포함되는 픽셀 영역과, 상기 기준 합성 동영상에 포함되는 픽셀 영역 사이의 위치 관계를 정의한 기준 스티칭 정보를 생성하는 과정과,
상기 복수의 카메라 장치로부터 각각 동기화되어 입력되는 복수의 소스 동영상을 확인하는 과정과,
상기 기준 스티칭 정보를 기준으로, 상기 복수의 소스 동영상을 조합한 스티칭 영상을 생성하는 과정과,
상기 스티칭 영상에서 상기 복수의 소스 동영상의 시차가 발생되는 시차 발생 영역을 확인하는 과정과,
상기 시차 발생 영역을 기준으로, 상기 복수의 소스 동영상의 위상 상관 정보를 반영하여, 상기 합성 동영상을 생성하는 과정을 포함하는 것을 특징으로 하는 합성 동영상 처리 방법.In the method of processing a composite video,
Generating a reference composite video combining the plurality of reference source videos based on a plurality of reference source videos inputted in synchronization from a plurality of camera devices, respectively, and including a pixel area included in the plurality of reference source videos, Generating reference stitching information defining positional relationships between pixel regions included in the composite video,
Checking a plurality of source videos inputted in synchronization with each other from the plurality of camera apparatuses;
Generating a stitching image combining the plurality of source videos based on the reference stitching information;
Identifying a parallax generating region where parallaxes of the plurality of source videos are generated in the stitching image;
And generating the composite video by reflecting phase correlation information of the plurality of source videos based on the parallax generating region.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180036730A KR20190114276A (en) | 2018-03-29 | 2018-03-29 | Method for processing composite video and apparatus for the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180036730A KR20190114276A (en) | 2018-03-29 | 2018-03-29 | Method for processing composite video and apparatus for the same |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20190114276A true KR20190114276A (en) | 2019-10-10 |
Family
ID=68206685
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180036730A KR20190114276A (en) | 2018-03-29 | 2018-03-29 | Method for processing composite video and apparatus for the same |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20190114276A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116801043A (en) * | 2022-04-28 | 2023-09-22 | 北京生数科技有限公司 | Video synthesis method, related device and storage medium |
-
2018
- 2018-03-29 KR KR1020180036730A patent/KR20190114276A/en unknown
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116801043A (en) * | 2022-04-28 | 2023-09-22 | 北京生数科技有限公司 | Video synthesis method, related device and storage medium |
CN116801043B (en) * | 2022-04-28 | 2024-03-19 | 北京生数科技有限公司 | Video synthesis method, related device and storage medium |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102013978B1 (en) | Method and apparatus for fusion of images | |
JP2009124685A (en) | Method and system for combining videos for display in real-time | |
US10244163B2 (en) | Image processing apparatus that generates a virtual viewpoint image, image generation method, and non-transitory computer-readable storage medium | |
US10963989B2 (en) | Apparatus and method of generating stitched image based on look-up table | |
US10692262B2 (en) | Apparatus and method for processing information of multiple cameras | |
KR20130104691A (en) | Apparatus and method for image processing | |
US11790583B2 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium | |
US8019180B2 (en) | Constructing arbitrary-plane and multi-arbitrary-plane mosaic composite images from a multi-imager | |
US20220199120A1 (en) | Image processing device, image processing method, and image processing program | |
KR101801100B1 (en) | Video providing apparatus and method for supporting production of immersive contents | |
KR20190114276A (en) | Method for processing composite video and apparatus for the same | |
US10659673B2 (en) | Control apparatus, control method, and non-transitory computer-readable storage medium | |
JP2017050819A (en) | Generation device for panoramic image data, generation method and program | |
CN104363384B (en) | Hardware sewing method based on row in a kind of video fusion | |
JP2014176053A (en) | Image signal processor | |
JP2019036906A (en) | Video processing apparatus, video processing method, and video processing program | |
CN114245006B (en) | Processing method, device and system | |
KR102074072B1 (en) | A focus-context display techinique and apparatus using a mobile device with a dual camera | |
Wang et al. | A common feature-based disparity control strategy in stereoscopic panorama generation | |
KR102430726B1 (en) | Apparatus and method for processing information of multi camera | |
JP2000184396A (en) | Video processor, its control method and storage medium | |
US20200226716A1 (en) | Network-based image processing apparatus and method | |
JP5189568B2 (en) | Image composition apparatus, image composition method, and image composition program | |
US20110267434A1 (en) | Camera device, arrangement and system | |
KR20160101762A (en) | The method of auto stitching and panoramic image genertation using color histogram |