KR20180136891A - Image processing method and appratus for omni-directional video - Google Patents

Image processing method and appratus for omni-directional video Download PDF

Info

Publication number
KR20180136891A
KR20180136891A KR1020180065860A KR20180065860A KR20180136891A KR 20180136891 A KR20180136891 A KR 20180136891A KR 1020180065860 A KR1020180065860 A KR 1020180065860A KR 20180065860 A KR20180065860 A KR 20180065860A KR 20180136891 A KR20180136891 A KR 20180136891A
Authority
KR
South Korea
Prior art keywords
image
hmd
movement
output
cameras
Prior art date
Application number
KR1020180065860A
Other languages
Korean (ko)
Inventor
이광순
곽상운
윤국진
윤정일
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Publication of KR20180136891A publication Critical patent/KR20180136891A/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/339—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using spatial multiplexing
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems

Abstract

An apparatus and a method for processing an image on an omnidirectional video are provided. The method for processing an image comprises the following steps: obtaining an input image from an omnidirectional camera; configuring the obtained input image as a two-dimensional image arrangement based on a structure of the omnidirectional camera; determining an output image corresponding to a movement of a user in the configured two-dimensional image arrangement; and providing the determined output image to the user.

Description

전방향 비디오에 관한 영상 처리 방법 및 장치{IMAGE PROCESSING METHOD AND APPRATUS FOR OMNI-DIRECTIONAL VIDEO}[0001] IMAGE PROCESSING METHOD AND APPRATUS FOR OMNI-DIRECTIONAL VIDEO [0002]

본 개시는 전방향 비디오에 관한 영상 처리 장치 및 방법에 관한 것이다. 보다 구체적으로, 본 개시는 시청자의 회전 및 이동 운동이 반영된 전방향 360도 비디오를 제공하는 장치 및 방법에 관한 것이다.The present disclosure relates to an image processing apparatus and method for omnidirectional video. More particularly, the present disclosure relates to an apparatus and method for providing an omnidirectional 360 degree video that reflects a viewer's rotation and movement.

가상현실(virtual reality) 서비스는 전방위 360도 비디오(또는 전방향 비디오)를 실사 혹은 CG(Computer Graphics) 형태로 생성하여 개인형 단말인 HMD(Head Mounted Display)에 재생함으로써 몰입감과 현장감을 극대화할 수 있는 방향으로 진화하고 있다. 360도 비디오(또는 전방향 비디오)는 2차원 비디오의 고정된 시점을 벗어나 비디오 시청 시 사용자가 원하는 방향의 시점에서 비디오를 볼 수 있는 비디오이다.Virtual reality service can generate full 360-degree video (or omni-directional video) in real-time or CG (Computer Graphics) format and reproduce it on HMD (Head Mounted Display) It is evolving in the direction that it is. 360 degree video (or omnidirectional video) is a video that can be viewed at a point in the direction desired by the user when viewing the video beyond the fixed point of the two-dimensional video.

도 1은 본 개시의 일 실시 예에 따른 360도 비디오를 획득하기 위한 카메라 구조 및 재생영상 포맷을 설명하기 위한 도면이다. 360도 비디오를 획득하기 위한 전방향 카메라는 일반 카메라와 다르게 전방위의 피사체로부터 반사되는 빛을 획득하기 위해 카메라의 중심점(110)을 기준으로 전방위 방향을 향하도록 배치될 수 있다. 전방향 카메라를 구성하는 각 카메라로부터 획득된 영상들은 영상 스티칭(stitching) 단계를 거쳐 HMD에 재생될 수 있다. 스티칭 영상(120)을 구성하는 C1, C2, C3, ... 등의 영상들은 전방향 카메라를 구성하는 각각의 카메라로부터 획득된 영상을 의미할 수 있다.FIG. 1 is a diagram for explaining a camera structure and a playback image format for obtaining 360-degree video according to an embodiment of the present disclosure. The forward camera for acquiring the 360-degree video may be arranged to face the omni-directional direction with respect to the center point 110 of the camera in order to obtain light reflected from the omnidirectional object unlike the general camera. Images obtained from each camera constituting the omnidirectional camera can be reproduced on the HMD through an image stitching step. The images C1, C2, C3, ... constituting the stitching image 120 may be images obtained from respective cameras constituting the forward camera.

종래의 360도 카메라로 획득된 영상을 HMD를 통해 시청할 때, 시청자의 응시 방향은 카메라들이 직시하는 방향과 일치하며, 시청자가 360도 회전할 때만 해당 방향의 영상을 시청할 수 있다. 또한, 시청자의 방향과 카메라의 방향은 상호 일치해야 하기 때문에, 시청자가 좌우 혹은 상하 방향으로 움직일 때 시청자가 시청하는 영상의 변화는 없게 된다.When viewing an image obtained by a conventional 360 degree camera through the HMD, the viewing direction of the viewer coincides with the direction in which the cameras face, and the viewer can view the image in the corresponding direction only when the viewer rotates 360 degrees. Further, since the direction of the viewer and the direction of the camera must coincide with each other, there is no change in the image viewed by the viewer when the viewer moves leftward or rightward or up and down.

한편, 실감 디스플레이에서 몰입감과 자연스러운 영상을 시청자에게 제공하기 위해서는 사용자의 동작에 따라 또는 눈이 주시하는 위치에 따라 패럴렉스(parallax) 및 초점을 변화시키기 위한 방법이 필요하다. 도 2는 본 개시의 일 실시 예에 따른 HMD에서 6-자유도(DoF, Degrees of Freedom)를 설명하기 위한 도면이다. 제1 움직임(210)은 HMD를 착용한 시청자를 중심으로 수평축 좌우 왕복운동(move side to side), 제2 움직임(220)은 수평축 회전운동(look up and down), 제3 움직임(230)은 상하축 위아래 왕복운동(move up and down), 제4 움직임(240)은 상하축 회전운동(look side to side), 제5 움직임(250)은 전후축 앞뒤 왕복운동(move front to back) 및 제6 움직임(260)은 전후축 회전운동(tilt head side to side)을 각각 의미할 수 있다. 일반적으로 넓은 범위의 패럴렉스를 제공하기 위해서는 도 2에서 view축 방향의 값이 커야 한다. 또한, 연속적으로 초점을 변화시키기 위해서는 좁은 시점간격의 영상들이 필요하며, 이를 위해 많은 데이터량 또는 많은 연산량이 필요하므로 디스플레이에 효과적으로 시점영상을 재현하기 위한 방법이 요구된다.On the other hand, in order to provide a feeling of immersion and a natural image to a viewer in a realistic display, a method for changing the parallax and the focus according to a user's motion or a position to which the user's eye observes is required. FIG. 2 is a diagram for explaining the 6-DOF (Degrees of Freedom) in an HMD according to an embodiment of the present disclosure; FIG. The first movement 210 is a move-side-to-side motion of the horizontal axis about the viewer wearing the HMD, the second movement 220 is a look up and down movement, The fourth movement 240 is a look side to side movement, the fifth movement 250 is a move front to back movement, and the fourth movement 250 is a move front to back movement, 6 motion 260 may represent a tilt head side to side, respectively. In general, in order to provide a wide range of parallax, the value in the view axis direction in FIG. 2 must be large. In order to continuously change the focus, images with a narrow time interval are required. To this end, a large amount of data or a large amount of computation is required. Therefore, a method for effectively reproducing a viewpoint image on a display is required.

한편, HMD에서 자연스럽고 몰입감이 높은 360도 비디오를 재생하기 위해 6-자유도를 재현해야 한다. 즉, 좌우 이동, 상하 회전, 상하 이동, 좌우 회전 등의 6가지 방향으로의 시청자의 이동에 대응하여 응시되는 영상을 HMD 화면을 통해 재생해야 하는 것이다. 현재까지 실사 영상을 재생하는 HMD는 상하 회전 및 좌우 회전 위주로의 움직임을 감지하여 영상을 재생하고 있으며, 시청자의 좌우 이동 및 상하 이동에 대한 응시영상을 제공하는 데에는 그 한계가 있다.On the other hand, HMDs need to reproduce 6-DOF to reproduce natural, immersive 360-degree video. That is, an image to be examined must be reproduced through the HMD screen in response to the movement of the viewer in six directions such as the horizontal movement, the vertical rotation, the vertical movement, and the horizontal rotation. Up to now, an HMD for playing a real image has been limited to providing a test image for left and right movement and up and down motion of a viewer by sensing motion based on up-down rotation and left-right rotation.

본 개시의 기술적 과제는, 전방향 비디오에 관한 영상 처리 장치 및 방법을 제공하는 것이다.The technical object of the present invention is to provide an image processing apparatus and method for omnidirectional video.

본 개시의 다른 기술적 과제는, 시청자의 회전 및 이동 운동이 반영된 전방향 360도 비디오를 제공하는 장치 및 방법을 제공하는 것이다.It is another object of the present disclosure to provide an apparatus and method for providing omnidirectional 360 degree video that reflects viewer's rotation and movement.

본 개시의 다른 기술적 과제는, HMD를 통해 보다 자연스러운 6-자유도의 360도 비디오를 제공하기 위한 360도 카메라 구조를 제공하는 장치 및 방법을 제공하는 것이다.Another object of the present disclosure is to provide an apparatus and method for providing a 360 degree camera structure for providing a more natural 6-degree of freedom 360 degree video via HMD.

본 개시의 다른 기술적 과제는, HMD를 통해 보다 자연스러운 6-자유도의 360도 비디오를 제공하기 위한 영상 포맷을 제공하는 장치 및 방법을 제공하는 것이다.It is another object of the present disclosure to provide an apparatus and method for providing an image format for providing a more natural 6-degree of freedom 360 degree video through an HMD.

본 개시의 일 양상에 따르면, 전방향 카메라로부터 입력 영상을 획득하는 단계; 상기 전방향 카메라의 구조에 기초하여 상기 획득된 입력 영상을 2차원 영상 배열로 구성하는 단계; 상기 구성된 2차원 영상 배열에서 사용자의 움직임에 대응하는 출력 영상을 결정하는 단계; 및 상기 결정된 출력 영상을 사용자에게 제공하는 단계를 포함하는 영상 처리 방법이 제공될 수 있다.According to an aspect of the present disclosure, there is provided a method of generating an input image, the method comprising: obtaining an input image from an omnidirectional camera; Constructing the obtained input image into a two-dimensional image array based on the structure of the forward camera; Determining an output image corresponding to a user's movement in the configured two-dimensional image array; And providing the determined output image to a user.

본 개시의 다른 양상에 따르면, 전방향 카메라로부터 입력 영상을 획득하는 영상 수신부; 상기 전방향 카메라의 구조에 기초하여 상기 획득된 입력 영상을 2차원 영상 배열로 구성하고, 상기 구성된 2차원 영상 배열에서 사용자의 움직임에 대응하는 출력 영상을 결정하는 제어부; 및 상기 결정된 출력 영상을 사용자에게 제공하는 출력부를 포함하는 영상 처리 장치가 제공될 수 있다.According to another aspect of the present disclosure, there is provided an image processing apparatus including: an image receiving unit for obtaining an input image from an omnidirectional camera; A controller configured to construct the obtained input image into a two-dimensional image array based on the structure of the forward camera, and to determine an output image corresponding to a user's movement in the configured two-dimensional image array; And an output unit for providing the determined output image to a user.

본 개시에 대하여 위에서 간략하게 요약된 특징들은 후술하는 본 개시의 상세한 설명의 예시적인 양상일 뿐이며, 본 개시의 범위를 제한하는 것은 아니다.The features briefly summarized above for this disclosure are only exemplary aspects of the detailed description of the disclosure which follow, and are not intended to limit the scope of the disclosure.

본 개시에 따르면, 전방향 비디오에 관한 영상 처리 장치 및 방법이 제공될 수 있다.According to the present disclosure, an image processing apparatus and method for omnidirectional video can be provided.

또한, 본 개시에 따르면, 시청자의 상하/좌우 회전 및 상하/좌우 이동 운동이 반영된 전방향 360도 비디오를 제공하는 장치 및 방법이 제공될 수 있다.Further, according to the present disclosure, an apparatus and method for providing an omnidirectional 360-degree video in which a viewer's up / down / left / right rotation and up / down / left / right movement movements are reflected can be provided.

또한, 본 개시에 따르면, HMD를 통해 보다 자연스러운 6-자유도의 360도 비디오를 제공하기 위한 360도 카메라 구조를 제공하는 장치 및 방법이 제공될 수 있다.Further, according to the present disclosure, an apparatus and method for providing a 360 degree camera structure for providing a more natural 6-degree of freedom 360 degree video through an HMD can be provided.

또한, 본 개시에 따르면, HMD를 통해 보다 자연스러운 6-자유도의 360도 비디오를 제공하기 위한 영상 포맷을 제공하는 장치 및 방법이 제공될 수 있다.Further, according to the present disclosure, an apparatus and method for providing an image format for providing a more natural 6-degree-of-freedom 360-degree video through an HMD can be provided.

본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The effects obtainable from the present disclosure are not limited to the effects mentioned above, and other effects not mentioned can be clearly understood by those skilled in the art from the description below will be.

도 1은 360도 비디오를 획득하기 위한 카메라 구조 및 재생영상 포맷을 설명하기 위한 도면이다.
도 2는 본 개시의 일 실시 예에 따른 HMD에서 6-자유도를 설명하기 위한 도면이다.
도 3은 본 개시의 일 실시 예에 따른 6-자유도를 지원하는 360도 카메라 구조를 설명하기 위한 도면이다.
도 4는 본 개시의 일 실시 예에 따른 6-자유도를 지원하는 영상 포맷을 생성하고, 생성된 영상 포맷을 HMD에 재생하는 과정을 설명하기 위한 도면이다.
도 5는 본 개시의 일 실시 예에 따른 시청자의 회전 운동이 반영된 HMD 영상을 제공하는 과정을 설명하기 위한 도면이다.
도 6은 본 개시의 일 실시 예에 따른 시청자의 이동 운동이 반영된 HMD 영상을 제공하는 과정을 설명하기 위한 도면이다.FIG. 1 is a diagram for explaining a camera structure and a reproduction image format for acquiring 360-degree video.
FIG. 2 is a diagram for explaining the 6-DOF in an HMD according to an embodiment of the present disclosure; FIG.
FIG. 3 is a diagram for explaining a 360-degree camera structure supporting 6-DOF according to an embodiment of the present disclosure.
FIG. 4 is a diagram for explaining a process of generating an image format supporting 6-DOF according to an embodiment of the present disclosure and reproducing the generated image format in the HMD.
FIG. 5 is a view for explaining a process of providing an HMD image reflecting a rotational motion of a viewer according to an embodiment of the present disclosure.
FIG. 6 is a view for explaining a process of providing an HMD image reflecting movement of a viewer according to an embodiment of the present disclosure.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다. 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다. 후술하는 예시적 실시예들에 대한 상세한 설명은, 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 실시예를 실시할 수 있기에 충분하도록 상세히 설명된다. 다양한 실시예들은 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 실시예의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 예시적 실시예들의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다.While the invention is susceptible to various modifications and alternative forms, specific embodiments thereof are shown by way of example in the drawings and will herein be described in detail. It should be understood, however, that the invention is not intended to be limited to the particular embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention. In the drawings, like reference numerals refer to the same or similar functions throughout the several views. The shape and size of the elements in the figures may be exaggerated for clarity. The following detailed description of exemplary embodiments refers to the accompanying drawings, which illustrate, by way of illustration, specific embodiments. These embodiments are described in sufficient detail to enable those skilled in the art to practice the embodiments. It should be understood that the various embodiments are different, but need not be mutually exclusive. For example, certain features, structures, and characteristics described herein may be implemented in other embodiments without departing from the spirit and scope of the invention in connection with an embodiment. It is also to be understood that the location or arrangement of the individual components within each disclosed embodiment may be varied without departing from the spirit and scope of the embodiments. The following detailed description is, therefore, not to be taken in a limiting sense, and the scope of the exemplary embodiments is to be limited only by the appended claims, along with the full scope of equivalents to which such claims are entitled, if properly explained.

본 발명에서 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.The terms first, second, etc. in the present invention may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component. And / or < / RTI > includes any combination of a plurality of related listed items or any of a plurality of related listed items.

본 발명의 어떤 구성 요소가 다른 구성 요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있으나, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다거나 "직접 접속되어"있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.Whenever an element of the invention is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, but other elements may be present in between It should be understood. On the other hand, when an element is referred to as being "directly connected" or "directly connected" to another element, it should be understood that there are no other elements in between.

본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.The components shown in the embodiments of the present invention are shown separately to represent different characteristic functions and do not mean that each component is composed of separate hardware or software constituent units. That is, each constituent unit is included in each constituent unit for convenience of explanation, and at least two constituent units of the constituent units may be combined to form one constituent unit, or one constituent unit may be divided into a plurality of constituent units to perform a function. The integrated embodiments and separate embodiments of the components are also included within the scope of the present invention, unless they depart from the essence of the present invention.

본 발명에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 발명에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 즉, 본 발명에서 특정 구성을 “포함”한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함될 수 있음을 의미한다. The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In the present invention, the term "comprises" or "having ", etc. is intended to specify that there is a feature, number, step, operation, element, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof. In other words, the description of "including" a specific configuration in the present invention does not exclude a configuration other than the configuration, and means that additional configurations can be included in the practice of the present invention or the technical scope of the present invention.

본 발명의 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.Some of the elements of the present invention are not essential elements that perform essential functions in the present invention, but may be optional elements only for improving performance. The present invention can be implemented only with components essential for realizing the essence of the present invention, except for the components used for the performance improvement, and can be implemented by only including the essential components except the optional components used for performance improvement Are also included in the scope of the present invention.

이하, 도면을 참조하여 본 발명의 실시 형태에 대하여 구체적으로 설명한다. 본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략하고, 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In the following description of the embodiments of the present invention, a detailed description of known functions and configurations incorporated herein has been omitted for the sake of clarity and conciseness. And redundant descriptions are omitted for the same components.

도 3은 본 개시의 일 실시 예에 따른 6-자유도를 지원하는 360도 카메라 구조를 설명하기 위한 도면이다.FIG. 3 is a diagram for explaining a 360-degree camera structure supporting 6-DOF according to an embodiment of the present disclosure.

본 개시의 6-자유도를 지원하는 360도 카메라 구조(또는 전방향 카메라 구조)는 좌우 또는 상하 방향으로 이동(translation)할 때의 시차(disparity)를 획득할 수 있도록 카메라 평면(camera plane, 310)이 종래의 카메라 평면에 비해 보다 더 큰 반경을 가지도록 구성될 수 있다. 또한, 카메라 평면(310)은 다각형(예를 들어, 5각형, 6각형, 8각형 등) 구조가 되도록 구성될 수 있다. 카메라 평면(310)의 각 변마다 배열된 카메라들은 다시점 카메라(예를 들어, 수평축 또는 2D camera array)와 유사한 구조를 가질 수 있고, 또한 상기 카메라들을 이용하여 3차원 공간상에서 피사체를 촬영할 때 운동 시차(motion parallax) 정보를 획득할 수 있다. 또한, 카메라 평면(310)을 구성하는 변들 중에서 같은 변에 위치한 카메라들은 평행축(parallel camera) 또는 교차축(toe-in, convergence camera)으로 배치되어 (+) 또는 (-) 깊이감을 조절할 수 있다. 예컨대, 도 3을 참조하면, 8각형 구조인 카메라 평면(310)의 어느 한 변(312)에 위치한 A1, A2, A3 카메라들은 광축의 방향이 각각 서로 cross 되는 형태가 되도록 배치될 수 있으며, 그 외의 변들 각각에 위치한 카메라들도 상기의 cross 형태와 유사하게 배치될 수 있다. 또한, A1, A2, A3, B1, B2, ... 등의 카메라들 각각은 프로젝션 평면(302)에 대해 각각의 카메라에 대응하는 화각(FoV, Field of View)을 가질 수 있다.A 360 degree camera structure (or an omnidirectional camera structure) that supports the 6-DOF of the present disclosure may include a camera plane 310 to obtain disparity when translating left, right, Can be configured to have a larger radius than the conventional camera plane. In addition, the camera plane 310 may be configured to be a polygonal (e.g., pentagonal, hexagonal, octagonal, etc.) structure. The cameras arranged at each side of the camera plane 310 may have a structure similar to a multi-view camera (e.g., a horizontal axis or a 2D camera array), and may also have a structure It is possible to obtain motion parallax information. Also, among the sides constituting the camera plane 310, cameras located on the same side can be arranged in a parallel camera or a toe-in (convergence camera) to control the (+) or (-) depth sense . For example, referring to FIG. 3, cameras A1, A2, and A3 located on one side 312 of the camera plane 310 having an octagonal structure may be arranged so that the directions of optical axes cross each other, Cameras located on each of the other sides may be arranged similarly to the above-mentioned cross shape. In addition, each of the cameras A1, A2, A3, B1, B2, ... may have a field of view (FoV) corresponding to each camera with respect to the projection plane 302.

본 개시에 따를 때, 시청자의 회전 운동(rotation)은 카메라 평면(310)을 구성하는 변들(A, B, C, ...) 각각에서 선택된 카메라의 조합에 의해 표현될 수 있다. 예컨대, 도 3을 참조하면, 본 개시의 전방향 비디오 처리 장치는 카메라 평면(310)을 구성하는 A변에서 선택된 A1, B변에서 선택된 B1, C변에서 선택된 C1 등의 카메라들로부터 획득된 영상들을 스티칭함으로써 시청자의 회전 운동(320)이 반영된 영상을 제공할 수 있다. 또한, 시청자의 이동 운동(transition)은 카메라 평면(310)을 구성하는 변들 중 어느 하나에 포함된 카메라들의 이동에 의해 표현될 수 있다. 예컨대, 도 3을 참조하면, 본 개시의 전방향 비디오 처리 장치는 카메라 평면(310)을 구성하는 변들 중 B변에 포함된 B1, B2, B3, ... 등의 카메라들로 획득된 영상들을 스티칭함으로써 시청자의 이동 운동(330)이 반영된 영상을 제공할 수 있다.In accordance with the present disclosure, the rotation of the viewer may be represented by a combination of cameras selected in each of the sides A, B, C, ... constituting the camera plane 310. 3, an omnidirectional video processing apparatus of the present disclosure includes an image obtained from cameras such as A1 selected on side A, B1 selected on side B, C1 selected on side C, which constitute camera plane 310 The viewer can provide an image reflecting the rotation motion 320 of the viewer. In addition, the viewer's movement can be represented by the movement of cameras included in any of the sides constituting the camera plane 310. [ 3, the omni-directional video processing apparatus of the present disclosure includes images obtained by cameras B1, B2, B3, ... included in the B side among the sides constituting the camera plane 310 Stitching to provide an image reflecting the movement 330 of the viewer.

한편, 이미지 스티칭 과정에서 스티칭 영상간 경계 부분에서 시차에 의한 왜곡이 발생할 수 있는데, 본 개시의 전방향 비디오 처리 장치는 같은 변에서 서로 이웃하는 카메라를 이용하여 상기 왜곡을 보정할 수 있다. 예컨대, 도 3을 참조하면, 시청자의 회전 운동이 있는 경우, A1, B1, C1 카메라 영상들을 스티칭할 때, 경계 부분의 시차에 의한 왜곡을 보정하기 위해 A3, B3, C3 카메라 영상 정보들이 이용될 수 있다.On the other hand, in the image stitching process, distortion due to parallax may occur at the boundary between the stitching images. The omnidirectional video processing apparatus of the present disclosure can correct the distortion using neighboring cameras on the same side. For example, referring to FIG. 3, when stitching camera images A1, B1, and C1 in the presence of a viewer's rotational motion, A3, B3, and C3 camera image information are used to correct distortions due to parallax of a boundary portion .

도 4는 본 개시의 일 실시 예에 따른 6-자유도를 지원하는 영상 포맷을 생성하고, 생성된 영상 포맷을 HMD에 재생하는 과정을 설명하기 위한 도면이다.FIG. 4 is a diagram for explaining a process of generating an image format supporting 6-DOF according to an embodiment of the present disclosure and reproducing the generated image format in the HMD.

영상 수신부(410)는 6-자유도를 지원하는 360도 카메라로부터 획득된 영상들을 수신할 수 있다. 예컨대, 6-자유도를 지원하는 360도 카메라 구조는 도 3의 카메라 구조일 수 있다.The image receiving unit 410 can receive images obtained from a 360 degree camera supporting 6-degree of freedom. For example, a 360 degree camera structure that supports six degrees of freedom may be the camera structure of FIG.

제어부(420)는 영상 수신부(410)에서 수신된 영상을 이용하여 6-자유도 영상을 2차원 배열 형태의 영상 포맷으로 재구성할 수 있다. 예컨대, 본 개시의 6-자유도를 지원하는 360도 영상 포맷(440)은 2차원 배열 형태로 구성될 수 있고, 수평축(442) 및 수직축(444)은 각각 카메라 평면을 구성하는 변들 각각에서 선택된 카메라들로부터 획득된 영상들을 스티칭한 영상 및 카메라 평면을 구성하는 변들 중 어느 하나에 포함된 카메라들로부터 획득된 영상들을 스티칭한 영상일 수 있다.The control unit 420 can reconstruct the 6-DOF image into a two-dimensional array image format using the image received by the image receiving unit 410. For example, the 360 degree image format 440 supporting the 6-DOF of the present disclosure may be configured in a two-dimensional array, and the horizontal axis 442 and the vertical axis 444 may be arranged in the form of a two- And stitching images obtained from the cameras included in any one of the images constituting the camera plane and the image obtained by stitching the images obtained from the cameras.

예컨대, 도 3 및 4를 참조하면, 수평축(442)에는 카메라 평면(310)을 구성하는 변들(A, B, C, ...) 각각에서 선택된 A1, B1, C1, ... 등의 카메라로부터 획득된 영상들을 스티칭한 영상(A1-B1-C1-D1-...)이 표현될 수 있다. 또한, 수직축(444)에는 카메라 평면(310)은 구성하는 변들 중 A변에 포함된 A1, A2, A3, ... 등의 카메라들로부터 획득된 영상들에 대해 어느 한 방향으로 이동하면서 스티칭한 영상(A1-A2-A3-...)이 표현될 수 있다. 따라서, 본 개시의 전방향 비디오 처리 장치는 6-자유도를 지원하는 360도 카메라로부터 획득된 영상들을 수평축(442) 및 수직축(444)의 두 축의 영상들로 구성된 2차원 배열 형태의 영상으로 재구성할 수 있다. 3 and 4, on the horizontal axis 442, there are provided cameras A1, B1, C1, ..., etc., selected from the sides A, B, C, (A1-B1-C1-D1 -...) obtained by stitching the images obtained from the image processing apparatus 100 can be expressed. In addition, on the vertical axis 444, the camera plane 310 is moved in one direction with respect to the images obtained from the cameras A1, A2, A3, The images A1-A2-A3 -... can be expressed. Accordingly, the omnidirectional video processing apparatus of the present disclosure reconstructs images obtained from a 360-degree camera supporting six-degrees of freedom into an image in the form of a two-dimensional array composed of images of two axes of a horizontal axis 442 and a vertical axis 444 .

한편, 카메라 평면의 한 변당 카메라의 개수는 시점수를 결정할 수 있는데, 상기 한 변당 카메라의 개수는 물리적 한계에 의해 제한될 수 있다. 따라서, 제어부(420)는 시점 보간(view interpolation)을 수행하여 시점 영상을 합성할 수 있으며, 합성된 시점 영상에 의해 시점간 간격은 줄고 시점수는 증가될 수 있다. 예컨대, 도 4를 참조하면, 본 개시의 전방향 비디오 처리 장치는 제1 스티칭 영상(A1-B1-C1-D1-...,450) 및 제2 스티칭 영상(A2-B2-C2-D2-...,452) 사이에 제1 시점 보간 영상(456)을 생성할 수 있다. 또한, 본 개시의 전방향 비디오 처리 장치는 제2 스티칭 영상(A2-B2-C2-D2-...,452) 및 제3 스티칭 영상(A3-B3-C3-D3-...,454) 사이에 제2 시점 보간 영상(458)을 생성할 수 있다. 한편, 상기 시점 보간 방법은 시점 보간을 위한 일반적인 영상 처리 기법을 포함할 수 있으며, 실시 환경을 고려하여 적절한 수의 보간 영상들이 생성될 수 있다.On the other hand, the number of cameras per one side of the camera plane can determine the number of viewpoints, which can be limited by the physical limitations. Accordingly, the controller 420 may perform view interpolation to synthesize the viewpoint image, and the interval between the viewpoints may be shortened and the number of viewpoints may be increased by the synthesized viewpoint image. 4, the omnidirectional video processing apparatus of the present disclosure includes a first stitching image A1-B1-C1-D1 -... 450 and a second stitching image A2-B2-C2-D2- ..., < / RTI > 452). The omnidirectional video processing apparatus of the present disclosure includes a second stitching image (A2-B2-C2-D2 -... 452) and a third stitching image (A3-B3-C3-D3- Time interpolation image 458 can be generated. Meanwhile, the viewpoint interpolation method may include a general image processing technique for the viewpoint interpolation, and an appropriate number of interpolated images can be generated considering the execution environment.

출력부(430)는 제어부(420)로부터 수신된 2차원 배열 형태의 영상 포맷에 대해 시청자의 움직임에 기초하여 상기 움직임에 부합되는 영상을 HMD 화면에 출력할 수 있다. 즉, 출력부(430)는 Left HMD 영상 및 Right HMD 영상을 사용자에게 제공할 수 있으며, Left HMD 영상 및 Right HMD 영상은 양안 시차, 시청자의 움직임 등을 고려하여 스티칭 영상 또는 시점 보간 영상일 수 있다. 한편, 시청자의 움직임은 좌우(상하) 이동 또는 좌우(상하) 회전을 포함할 수 있다.The output unit 430 may output an image corresponding to the motion to the HMD screen based on the motion of the viewer with respect to the image format of the two-dimensional array format received from the control unit 420. [ In other words, the output unit 430 may provide the left HMD image and the right HMD image to the user, and the left HMD image and the right HMD image may be a stitching image or a viewpoint interpolation image considering binocular disparity, viewer's motion, . On the other hand, the motion of the viewer may include left and right (up and down) movement or left and right (up and down) rotation.

상기 실시예들은 출력부(430) 및 제어부(420)에서 같은 방법으로 수행될 수 있다.The above embodiments may be performed in the same manner in the output unit 430 and the control unit 420. [

도 5는 본 개시의 일 실시 예에 따른 시청자의 회전 운동이 반영된 HMD 영상을 제공하는 과정을 설명하기 위한 도면이다.FIG. 5 is a view for explaining a process of providing an HMD image reflecting a rotational motion of a viewer according to an embodiment of the present disclosure.

HMD를 통해 360도 영상을 시청하는 시청자가 좌우 또는 상하의 회전 운동을 하는 경우, 본 개시의 전방향 비디오 처리 장치는 2차원 배열 형태로 재구성된 영상에서 HMD 재현 영상(즉, Left HMD 및 Right HMD)을 수평축 방향(즉, stitched image)으로 이동시킬 수 있다. 도 5를 참조하면, 시청자의 회전 운동이 있기 전 시청자에게 제공되는 영상은 제1 Left HMD 영상(510) 및 제1 Right HMD 영상(512)이라고 하자. 여기서, Left HMD 및 Right HMD는 스티칭된 360도 영상 중에서 좌우 HMD에 각각 출력되는 일부 영상을 의미할 수 있다. 여기서 좌측(Left) HMD와 우측(Right) HMD는 양안 시차에 의해 입체감을 제공하기 위한 것으로서, 카메라 조합에 의해 획득된 스티칭 영상들 중에서 인간의 눈 간격만큼 떨어진 간격에 해당하는 영상이 출력되도록 영상 포맷의 수직방향으로 서로 떨어져 있는 영상들이 선택될 수 있다. 제1 Left HMD 영상(510)은 시점 보간에 의해 합성된 영상이고, 제1 Right HMD 영상(512)은 A2-B2-C2-... 등의 카메라 조합에 의해 스티칭된 영상일 수 있으나, 이에 제한되지 않는다. 사용자의 회전 운동(530)이 발생하면, 본 개시의 전방향 비디오 처리 장치는 제1 Left HMD 영상(510) 및 제1 Right HMD 영상(512)을 각각 일정한 간격을 유지하면서 수평축 방향으로 이동시켜 제2 Left HMD 영상(520) 및 제2 Right HMD 영상(522)을 시청자에게 제공할 수 있다. 상기 수평 이동된 영상을 제공함으로써 시청자 관점에서는 시청자가 응시하고 있는 영상이 회전하는 것과 유사한 효과를 얻을 수 있다. 한편, 본 개시의 전방향 비디오 처리 장치는 사용자의 회전 운동에 대해 제1 Left HMD 영상(510) 및 제1 Right HMD 영상(512)을 일정한 간격을 유지하면서 각각 수직 방향으로 이동할 수도 있다.When an observer viewing a 360-degree image through an HMD performs a left-right or up-and-down rotational movement, the omnidirectional video processing apparatus of the present disclosure generates an HMD reproduced image (i.e., a left HMD and a right HMD) To a horizontal axis direction (i.e., a stitched image). Referring to FIG. 5, the images provided to the viewer before the viewer's rotational motion are the first left HMD image 510 and the first right HMD image 512. Here, the left HMD and the right HMD may mean some images output respectively to the left and right HMDs of the stitched 360-degree images. Here, the left HMD and the right HMD are provided to provide a stereoscopic effect by the binocular parallax. The left HMD and the right HMD are arranged in the image format The images that are separated from each other in the vertical direction of the image can be selected. The first right HMD image 510 may be an image synthesized by the viewpoint interpolation and the first right HMD image 512 may be an image stitched by a combination of cameras such as A2-B2-C2 -... However, It is not limited. When the rotational motion 530 of the user occurs, the omnidirectional video processing apparatus of the present disclosure moves the first left HMD image 510 and the first right HMD image 512 in the horizontal axis direction, 2 Left HMD image 520 and a second Right HMD image 522 to the viewer. By providing the horizontally shifted image, it is possible to obtain an effect similar to that in which the viewer is looking at the viewer's view. Meanwhile, the omni-directional video processing apparatus of the present disclosure may move the first left HMD image 510 and the first right HMD image 512 in the vertical direction while maintaining a constant interval with respect to the rotational motion of the user.

도 6은 본 개시의 일 실시 예에 따른 시청자의 이동 운동이 반영된 HMD 영상을 제공하는 과정을 설명하기 위한 도면이다.FIG. 6 is a view for explaining a process of providing an HMD image reflecting movement of a viewer according to an embodiment of the present disclosure.

HMD를 통해 360도 영상을 시청하는 시청자가 좌우 또는 상하의 이동 운동을 하는 경우, 본 개시의 전방향 비디오 처리 장치는 2차원 배열 형태로 재구성된 영상에서 HMD 재현 영상(즉, Left HMD 및 Right HMD)을 수직축 방향(즉, views)으로 이동시킬 수 있다. 도 6을 참조하면, 시청자의 이동 운동이 있기 전 시청자에게 제공되는 영상은 제1 Left HMD 영상(610) 및 제1 Right HMD 영상(612)이라고 하자. 제1 Left HMD 영상(610)은 A1-B1-C1-... 등의 카메라 조합에 의해 스티칭된 영상이고, 제1 Right HMD 영상(612)은 시점 보간에 의해 합성된 영상일 수 있으나, 이에 제한되지 않는다. 사용자의 이동운동(640)이 발생하면, 본 개시의 전방향 비디오 처리 장치는 제1 Left HMD 영상(610) 및 제1 Right HMD 영상(612)을 각각 일정한 간격을 유지하면서 수직축 방향으로 이동시켜 제2 Left HMD 영상(620) 및 제2 Right HMD 영상(622)을 시청자에게 제공할 수 있다. 이때, 제2 Left HMD 영상(620)은 시점 보간에 의해 합성된 영상이고, 제2 Right HMD 영상(622)은 A3-B3-C3-... 등의 카메라 조합에 의해 스티칭된 영상일 수 있으나, 이에 제한되지 않는다. 상기 수직 이동된 영상을 제공함으로써 시청자 관점에서는 시청자가 응시하고 있는 영상이 좌우 또는 상하로 이동하는 것과 유사한 효과를 얻을 수 있다.When an observer viewing a 360-degree image through an HMD performs a left-right or up-and-down movement, the omnidirectional video processing apparatus of the present disclosure generates an HMD reproduced image (i.e., a left HMD and a right HMD) To the vertical axis direction (i.e., views). Referring to FIG. 6, the images provided to the viewer before the movement of the viewer are the first left HMD image 610 and the first right HMD image 612. The first left HMD image 610 is an image stitched by a combination of cameras such as A1-B1-C1 -... The first right HMD image 612 may be an image synthesized by the time interpolation, It is not limited. When the user's movement 640 occurs, the omnidirectional video processing apparatus of the present disclosure moves the first left HMD image 610 and the first right HMD image 612 in the vertical axis direction while maintaining a constant interval, 2 Left HMD image 620 and a second Right HMD image 622 to the viewer. Here, the second left HMD image 620 may be an image synthesized by the viewpoint interpolation, and the second right HMD image 622 may be an image stitched by a combination of cameras such as A3-B3-C3 -... , But is not limited thereto. By providing the vertically moved image, it is possible to obtain an effect similar to a case in which a viewer is gazing at an image left or right or up and down.

한편, 2차원 배열 구성 영상에서 HMD 재현 영상을 대각선 방향으로 이동하여 HMD에 재현시키면 회전과 이동 효과가 동시에 반영된 영상이 제공될 수 있다. 도 6을 참조하면, 시청자의 이동 운동이 있기 전 시청자에게 제공되는 영상은 제1 Left HMD 영상(610) 및 제1 Right HMD 영상(612)이라고 하자. 제1 Left HMD 영상(610)은 A1-B1-C1-... 등의 카메라 조합에 의해 스티칭된 영상이고, 제1 Right HMD 영상(612)은 시점 보간에 의해 합성된 영상일 수 있으나, 이에 제한되지 않는다. 사용자의 이동운동(650)이 발생하면, 본 개시의 전방향 비디오 처리 장치는 제1 Left HMD 영상(610) 및 제1 Right HMD 영상(612)을 각각 일정한 간격을 유지하면서 수평축 및 수직축 방향으로 이동시켜 제3 Left HMD 영상(630) 및 제3 Right HMD 영상(632)을 시청자에게 제공할 수 있다. 이때, 제3 Left HMD 영상(630)은 시점 보간에 의해 합성된 영상이고, 제3 Right HMD 영상(632)은 A3-B3-C3-... 등의 카메라 조합에 의해 스티칭된 영상일 수 있으나, 이에 제한되지 않는다.On the other hand, if the HMD reproduced image is diagonally moved in the two-dimensional array image and reproduced in the HMD, an image in which the rotation and the moving effect are simultaneously reflected can be provided. Referring to FIG. 6, the images provided to the viewer before the movement of the viewer are the first left HMD image 610 and the first right HMD image 612. The first left HMD image 610 is an image stitched by a combination of cameras such as A1-B1-C1 -... The first right HMD image 612 may be an image synthesized by the time interpolation, It is not limited. When the movement motion 650 of the user occurs, the omnidirectional video processing apparatus of the present disclosure moves the first left HMD image 610 and the first right HMD image 612 in the horizontal and vertical directions, The third right HMD image 630 and the third right HMD image 632 to the viewer. In this case, the third left HMD image 630 is synthesized by the viewpoint interpolation, and the third right HMD image 632 is the image stitched by a combination of cameras such as A3-B3-C3 -... However, , But is not limited thereto.

한편, 본 개시의 카메라 구조 및 영상 포맷은 수평면 방향에 배치된 카메라 및 포맷에 대해서 설명하였지만, 이에 제한되지 않으며, 수직면 방향으로 독립적으로 확장시킬 수 있다. 상기와 같이 확장시키면, 3차원 다각형 형태가 6-자유도를 지원하는 전방위 360도 영상의 획득 및 재생이 가능할 수 있다.Meanwhile, although the camera structure and the image format of the present disclosure have been described with respect to the cameras and formats arranged in the horizontal plane direction, the present invention is not limited thereto and can be independently expanded in the vertical plane direction. By expanding as described above, it is possible to acquire and reproduce a 360-degree omnidirectional image in which a three-dimensional polygonal shape supports six-degrees-of-freedom.

본 개시에 따르면, 전방향 비디오에 관한 영상 처리 장치 및 방법이 제공될 수 있다.According to the present disclosure, an image processing apparatus and method for omnidirectional video can be provided.

본 개시에 따르면 완전 입체 360도 비디오 획득 및 재생을 위한 장치 및 방법이 제공될 수 있다.According to the present disclosure, an apparatus and method for full stereoscopic 360 degree video acquisition and playback can be provided.

또한, 본 개시에 따르면, 시청자의 상하/좌우 회전 및 상하/좌우 이동 운동이 반영된 전방향 360도 비디오를 제공하는 장치 및 방법이 제공될 수 있다.Further, according to the present disclosure, an apparatus and method for providing an omnidirectional 360-degree video in which a viewer's up / down / left / right rotation and up / down / left / right movement movements are reflected can be provided.

또한, 본 개시에 따르면, HMD를 통해 보다 자연스러운 6-자유도의 360도 비디오를 제공하기 위한 360도 카메라 구조를 제공하는 장치 및 방법이 제공될 수 있다.Further, according to the present disclosure, an apparatus and method for providing a 360 degree camera structure for providing a more natural 6-degree of freedom 360 degree video through an HMD can be provided.

또한, 본 개시에 따르면, HMD를 통해 보다 자연스러운 6-자유도의 360도 비디오를 제공하기 위한 영상 포맷을 제공하는 장치 및 방법이 제공될 수 있다.Further, according to the present disclosure, an apparatus and method for providing an image format for providing a more natural 6-degree-of-freedom 360-degree video through an HMD can be provided.

또한, 본 개시에 따르면, 종래의 상하/좌우 회전운동뿐만 아니라 HMD를 착용한 시청자가 상하/좌우 이동 운동을 할 때 이에 대응되는 영상을 제공함으로써, 가상현실 장치를 통해 완전하고 자연스러운 입체 영상이 제공될 수 있다.In addition, according to the present disclosure, not only a conventional up / down / left / right rotation movement but also a corresponding image when a viewer wearing an HMD performs up / down / left / right movement motion provides a complete and natural stereoscopic image through a virtual reality apparatus .

상술한 실시예들에서, 방법들은 일련의 단계 또는 유닛으로서 순서도를 기초로 설명되고 있으나, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당해 기술 분야에서 통상의 지식을 가진 자라면 순서도에 나타난 단계들이 배타적이지 않고, 다른 단계가 포함되거나, 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다. In the above-described embodiments, although the methods are described on the basis of a flowchart as a series of steps or units, the present invention is not limited to the order of the steps, and some steps may occur in different orders or simultaneously . It will also be understood by those skilled in the art that the steps depicted in the flowchart illustrations are not exclusive and that other steps may be included or that one or more steps in the flowchart may be deleted without affecting the scope of the invention You will understand.

상술한 실시예는 다양한 양태의 예시들을 포함한다. 다양한 양태들을 나타내기 위한 모든 가능한 조합을 기술할 수는 없지만, 해당 기술 분야의 통상의 지식을 가진 자는 다른 조합이 가능함을 인식할 수 있을 것이다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.The above-described embodiments include examples of various aspects. While it is not possible to describe every possible combination for expressing various aspects, one of ordinary skill in the art will recognize that other combinations are possible. Accordingly, it is intended that the invention include all alternatives, modifications and variations that fall within the scope of the following claims.

이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The embodiments of the present invention described above can be implemented in the form of program instructions that can be executed through various computer components and recorded on a computer-readable recording medium. The computer-readable recording medium may include program commands, data files, data structures, and the like, alone or in combination. The program instructions recorded on the computer-readable recording medium may be those specially designed and constructed for the present invention or may be those known and used by those skilled in the computer software arts. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tape, optical recording media such as CD-ROMs and DVDs, magneto-optical media such as floptical disks, media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those generated by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware device may be configured to operate as one or more software modules for performing the processing according to the present invention, and vice versa.

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, Those skilled in the art will appreciate that various modifications, additions and substitutions are possible, without departing from the scope and spirit of the invention as disclosed in the accompanying claims.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.Therefore, the spirit of the present invention should not be construed as being limited to the above-described embodiments, and all of the equivalents or equivalents of the claims, as well as the following claims, I will say.

Claims (20)

전방향 카메라로부터 입력 영상을 획득하는 단계;
상기 전방향 카메라의 구조에 기초하여 상기 획득된 입력 영상을 2차원 영상 배열로 구성하는 단계;
상기 구성된 2차원 영상 배열에서 사용자의 움직임에 대응하는 출력 영상을 결정하는 단계; 및
상기 결정된 출력 영상을 사용자에게 제공하는 단계를 포함하는 영상 처리 방법.Obtaining an input image from an omnidirectional camera;
Constructing the obtained input image into a two-dimensional image array based on the structure of the forward camera;
Determining an output image corresponding to a user's movement in the configured two-dimensional image array; And
And providing the determined output image to a user. 제1항에 있어서,
상기 전방향 카메라의 구조는,
상기 전방향 카메라를 구성하는 복수의 단일 카메라들이 다각형 형태의 구조로 배치되고, 상기 다각형 형태에서 같은 변에 위치한 단일 카메라들은 평행축(parallel camera) 또는 교차축(toe-in, convergence camera)으로 배치된 영상 처리 방법.The method according to claim 1,
The structure of the omni-
A plurality of single cameras constituting the omnidirectional camera are arranged in a polygonal structure and the single cameras located on the same side in the polygonal shape are arranged in parallel cameras or toe-in convergence cameras / RTI > 제2항에 있어서,
상기 2차원 영상 배열은, 수평 방향 및 수직 방향을 따라 상기 획득된 입력 영상에 대한 스티칭 영상들이 각각 배치된 영상 처리 방법.3. The method of claim 2,
Wherein the two-dimensional image arrangement includes stitching images of the obtained input image arranged in a horizontal direction and a vertical direction, respectively. 제3항에 있어서,
상기 수평 방향을 따라 배치된 스티칭 영상은 상기 다각형 형태를 구성하는 변들 각각에서 선택된 카메라들로부터 획득된 영상들을 스티칭함으로써 생성된 영상이고,
상기 수직 방향을 따라 배치된 스티칭 영상은 상기 다각형 형태를 구성하는 변들 중 어느 하나에 포함된 카메라들로부터 획득된 영상들을 스티칭함으로써 생성된 영상인 영상 처리 방법.The method of claim 3,
The stitching image arranged along the horizontal direction is an image generated by stitching images obtained from cameras selected from the respective sides constituting the polygonal shape,
Wherein the stitching images arranged along the vertical direction are images generated by stitching images obtained from cameras included in any one of the sides constituting the polygonal shape. 제4항에 있어서,
상기 획득된 입력 영상을 2차원 영상 배열로 구성하는 단계는,
상기 스티칭 영상들을 이용하여 보간 영상을 생성하는 단계를 더 포함하는 영상 처리 방법.5. The method of claim 4,
The step of constructing the acquired input image into a two-
And generating an interpolated image using the stitching images. 제5항에 있어서,
헤드 마운티드 디스플레이(head mounted display, HMD)를 통해 상기 사용자에게 상기 출력 영상이 제공되고,
상기 출력 영상은, 상기 사용자의 양안 시차가 반영된 좌측 HMD 영상 및 우측 HMD 영상을 포함하고,
상기 좌측 HMD 영상 및 우측 HMD 영상은 각각 상기 2차원 영상 배열의 일부 스티칭 영상인 영상 처리 방법.6. The method of claim 5,
The output image is provided to the user via a head mounted display (HMD)
Wherein the output image includes a left HMD image and a right HMD image reflecting the binocular disparity of the user,
Wherein the left HMD image and the right HMD image are a part of the two-dimensional image array stitching image. 제6항에 있어서,
상기 사용자의 움직임이 좌우 회전 또는 상하 회전 운동인 경우,
상기 출력 영상을 결정하는 단계는,
상기 좌측 HMD 영상 및 우측 HMD 영상을 수평 방향으로 소정의 크기만큼 각각 이동시킴으로써 출력 좌측 HMD 영상 및 출력 우측 HMD 영상을 결정하는 단계를 포함하는 영상 처리 방법.The method according to claim 6,
When the movement of the user is the left-right rotation or the up-down rotation movement,
Wherein the step of determining the output image comprises:
And determining the output left HMD image and the output right HMD image by moving the left HMD image and the right HMD image respectively by a predetermined size in the horizontal direction. 제6항에 있어서,
상기 사용자의 움직임이 좌우 이동 또는 상하 이동 운동인 경우,
상기 출력 영상을 결정하는 단계는,
상기 좌측 HMD 영상 및 우측 HMD 영상을 수직 방향으로 소정의 크기만큼 각각 이동시킴으로써 출력 좌측 HMD 영상 및 출력 우측 HMD 영상을 결정하는 단계를 포함하는 영상 처리 방법.The method according to claim 6,
When the movement of the user is a left-right movement or a vertical movement,
Wherein the step of determining the output image comprises:
And determining the output left HMD image and the output right HMD image by moving the left HMD image and the right HMD image respectively by a predetermined size in the vertical direction. 제6항에 있어서,
상기 사용자의 움직임이 좌우 이동 및 회전 운동 또는 상하 이동 및 회전 운동인 경우,
상기 출력 영상을 결정하는 단계는,
상기 좌측 HMD 영상 및 우측 HMD 영상을 대각 방향으로 소정의 크기만큼 각각 이동시킴으로써 출력 좌측 HMD 영상 및 출력 우측 HMD 영상을 결정하는 단계를 포함하는 영상 처리 방법.The method according to claim 6,
When the movement of the user is the left-right movement and the rotation movement, or the up-down movement and the rotation movement,
Wherein the step of determining the output image comprises:
And determining an output left HMD image and an output right HMD image by moving the left HMD image and the right HMD image by a predetermined size in a diagonal direction, respectively. 전방향 카메라로부터 입력 영상을 획득하는 영상 수신부;
상기 전방향 카메라의 구조에 기초하여 상기 획득된 입력 영상을 2차원 영상 배열로 구성하고, 상기 구성된 2차원 영상 배열에서 사용자의 움직임에 대응하는 출력 영상을 결정하는 제어부; 및
상기 결정된 출력 영상을 사용자에게 제공하는 출력부를 포함하는 영상 처리 장치.An image receiving unit for acquiring an input image from an omnidirectional camera;
A controller configured to construct the obtained input image into a two-dimensional image array based on the structure of the forward camera, and to determine an output image corresponding to a user's movement in the configured two-dimensional image array; And
And an output unit for providing the determined output image to a user. 제10항에 있어서,
상기 전방향 카메라의 구조는,
상기 전방향 카메라를 구성하는 복수의 단일 카메라들이 다각형 형태의 구조로 배치되고, 상기 다각형 형태에서 같은 변에 위치한 단일 카메라들은 평행축(parallel camera) 또는 교차축(toe-in, convergence camera)으로 배치된 영상 처리 장치.11. The method of claim 10,
The structure of the omni-
A plurality of single cameras constituting the omnidirectional camera are arranged in a polygonal structure and the single cameras located on the same side in the polygonal shape are arranged in parallel cameras or toe-in convergence cameras / RTI > 제11항에 있어서,
상기 2차원 영상 배열은, 수평 방향 및 수직 방향을 따라 상기 획득된 입력 영상에 대한 스티칭 영상들이 각각 배치된 영상 처리 장치.12. The method of claim 11,
Wherein the stitching images for the obtained input image are arranged along a horizontal direction and a vertical direction, respectively. 제12항에 있어서,
상기 수평 방향을 따라 배치된 스티칭 영상은 상기 다각형 형태를 구성하는 변들 각각에서 선택된 카메라들로부터 획득된 영상들을 스티칭함으로써 생성된 영상이고,
상기 수직 방향을 따라 배치된 스티칭 영상은 상기 다각형 형태를 구성하는 변들 중 어느 하나에 포함된 카메라들로부터 획득된 영상들을 스티칭함으로써 생성된 영상인 영상 처리 장치.13. The method of claim 12,
The stitching image arranged along the horizontal direction is an image generated by stitching images obtained from cameras selected from the respective sides constituting the polygonal shape,
Wherein the stitching image arranged along the vertical direction is generated by stitching images obtained from cameras included in any one of the sides constituting the polygonal shape. 제13항에 있어서,
상기 제어부는,
상기 스티칭 영상들을 이용하여 보간 영상을 생성하는 영상 처리 장치.14. The method of claim 13,
Wherein,
And generating an interpolated image using the stitching images. 제14항에 있어서,
헤드 마운티드 디스플레이(head mounted display, HMD)를 통해 상기 사용자에게 상기 출력 영상이 제공되고,
상기 출력 영상은, 상기 사용자의 양안 시차가 반영된 좌측 HMD 영상 및 우측 HMD 영상을 포함하고,
상기 좌측 HMD 영상 및 우측 HMD 영상은 각각 상기 2차원 영상 배열의 일부 스티칭 영상인 영상 처리 장치.15. The method of claim 14,
The output image is provided to the user via a head mounted display (HMD)
Wherein the output image includes a left HMD image and a right HMD image reflecting the binocular disparity of the user,
Wherein the left HMD image and the right HMD image are a part of the two-dimensional image array stitching image. 제15항에 있어서,
상기 사용자의 움직임이 좌우 회전 또는 상하 회전 운동인 경우,
상기 제어부는,
상기 좌측 HMD 영상 및 우측 HMD 영상을 수평 방향으로 소정의 크기만큼 각각 이동시킴으로써 출력 좌측 HMD 영상 및 출력 우측 HMD 영상을 결정하는 영상 처리 장치.16. The method of claim 15,
When the movement of the user is the left-right rotation or the up-down rotation movement,
Wherein,
And determining the output left HMD image and the output right HMD image by moving the left HMD image and the right HMD image by a predetermined size in the horizontal direction, respectively. 제16항에 있어서,
상기 사용자의 움직임이 좌우 이동 또는 상하 이동 운동인 경우,
상기 제어부는,
상기 좌측 HMD 영상 및 우측 HMD 영상을 수직 방향으로 소정의 크기만큼 각각 이동시킴으로써 출력 좌측 HMD 영상 및 출력 우측 HMD 영상을 결정하는 영상 처리 장치.17. The method of claim 16,
When the movement of the user is a left-right movement or a vertical movement,
Wherein,
Wherein the left HMD image and the right HMD image are shifted in a vertical direction by a predetermined magnitude, respectively, thereby determining an output left HMD image and an output right HMD image. 제17항에 있어서,
상기 사용자의 움직임이 좌우 이동 및 회전 운동 또는 상하 이동 및 회전 운동인 경우,
상기 제어부는,
상기 좌측 HMD 영상 및 우측 HMD 영상을 대각 방향으로 소정의 크기만큼 각각 이동시킴으로써 출력 좌측 HMD 영상 및 출력 우측 HMD 영상을 결정하는 영상 처리 장치.18. The method of claim 17,
When the movement of the user is the left-right movement and the rotation movement, or the up-down movement and the rotation movement,
Wherein,
Wherein the left HMD image and the right HMD image are shifted by a predetermined size in a diagonal direction, respectively, thereby determining an output left HMD image and an output right HMD image. 360도 비디오를 제공하기 위한 전방향 카메라 구조물로서,
상기 전방향 카메라를 구성하는 복수의 단일 카메라들이 다각형 형태의 구조로 배치되고, 상기 다각형 형태에서 같은 변에 위치한 단일 카메라들은 교차축(toe-in, convergence camera)으로 배치된 구조물.An omni-directional camera structure for providing 360 degree video,
A plurality of single cameras constituting the omnidirectional camera are arranged in a polygonal shape, and single cameras located on the same side in the polygonal shape are arranged in a toe-in (convergence camera). 제19항에 있어서,
상기 복수의 단일 카메라들은, 사용자의 회전 운동이 있는 경우 상기 다각형 형태를 구성하는 변들 각각에서 선택된 카메라들로부터 획득된 영상들을 이용하여 출력 영상을 제공하도록 배치되고, 상기 사용자의 이동 운동이 있는 경우 상기 다각형 형태를 구성하는 변들 중 어느 하나에 포함된 카메라들로부터 획득된 영상들을 이용하여 출력 영상을 제공하도록 배치된 구조물.20. The method of claim 19,
Wherein the plurality of single cameras are arranged to provide an output image using images obtained from selected cameras in each of the sides constituting the polygonal shape when there is a user's rotational motion, A structure arranged to provide an output image using images obtained from cameras included in any one of the sides constituting the polygonal shape.
KR1020180065860A 2017-06-15 2018-06-08 Image processing method and appratus for omni-directional video KR20180136891A (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20170075803 2017-06-15
KR1020170075803 2017-06-15

Publications (1)

Publication Number Publication Date
KR20180136891A true KR20180136891A (en) 2018-12-26

Family

ID=64802076

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180065860A KR20180136891A (en) 2017-06-15 2018-06-08 Image processing method and appratus for omni-directional video

Country Status (2)

Country Link
KR (1) KR20180136891A (en)
CN (1) CN109151441A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200092209A (en) * 2019-01-24 2020-08-03 주식회사 케이티 Apparatus for generating 360 degree image supporting 6-degrees of freedom using multi micro lens array light field camera
KR102242710B1 (en) * 2019-12-31 2021-04-22 서울과학기술대학교 산학협력단 Apparatus for providing half free-viewpoint video
KR102393309B1 (en) * 2022-01-10 2022-04-29 정장수 VR production method for 3D experience education
CN114830676A (en) * 2019-12-24 2022-07-29 皇家Kpn公司 Video processing device and manifest file for video streaming

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10547825B2 (en) * 2014-09-22 2020-01-28 Samsung Electronics Company, Ltd. Transmission of three-dimensional video
CA2960427A1 (en) * 2014-10-07 2016-04-14 Nokia Technologies Oy Camera devices with a large field of view for stereo imaging
CN107637060B (en) * 2015-05-27 2020-09-29 谷歌有限责任公司 Camera rig and stereoscopic image capture
EP3151554A1 (en) * 2015-09-30 2017-04-05 Calay Venture S.a.r.l. Presence camera

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200092209A (en) * 2019-01-24 2020-08-03 주식회사 케이티 Apparatus for generating 360 degree image supporting 6-degrees of freedom using multi micro lens array light field camera
CN114830676A (en) * 2019-12-24 2022-07-29 皇家Kpn公司 Video processing device and manifest file for video streaming
KR102242710B1 (en) * 2019-12-31 2021-04-22 서울과학기술대학교 산학협력단 Apparatus for providing half free-viewpoint video
KR102393309B1 (en) * 2022-01-10 2022-04-29 정장수 VR production method for 3D experience education

Also Published As

Publication number Publication date
CN109151441A (en) 2019-01-04

Similar Documents

Publication Publication Date Title
US11010958B2 (en) Method and system for generating an image of a subject in a scene
JP6208455B2 (en) 3D display device and video processing method thereof
US8750599B2 (en) Stereoscopic image processing method and apparatus
CN108141578B (en) Presentation camera
US20180192033A1 (en) Multi-view scene flow stitching
JP5515301B2 (en) Image processing apparatus, program, image processing method, recording method, and recording medium
KR20180136891A (en) Image processing method and appratus for omni-directional video
JP2019511024A (en) Adaptive Stitching of Frames in the Process of Generating Panoramic Frames
JP6126821B2 (en) Image generation method, image display method, image generation program, image generation system, and image display apparatus
CN108693970B (en) Method and apparatus for adapting video images of a wearable device
JP2014093779A (en) Image processing method and image processing apparatus
US20120194514A1 (en) Image processing apparatus and method, and program
JP2003284093A (en) Stereoscopic image processing method and apparatus therefor
US11436698B2 (en) Method of playing back image on display device and display device
KR101198557B1 (en) 3D stereoscopic image and video that is responsive to viewing angle and position
KR20190011224A (en) METHOD AND APPARATUS FOR ACQUISITION AND REPRESENTATION OF 6DoF 360 VR VIDEO
Naimark Elements of real-space imaging: a proposed taxonomy
KR20200013607A (en) Method and apparatus for capturing/playing omnidirectional video with motion parallax
Thatte et al. Depth augmented stereo panorama for cinematic virtual reality with focus cues
KR101208767B1 (en) Stereoscopic image generation method, device and system using circular projection and recording medium for the same
JP2003284095A (en) Stereoscopic image processing method and apparatus therefor
JP4184690B2 (en) Image forming method, image forming program, and image forming apparatus
KR101425321B1 (en) System for displaying 3D integrated image with adaptive lens array, and method for generating elemental image of adaptive lens array
KR20210036795A (en) Method for processing immersive video and method for producing immversive video
JP2003284094A (en) Stereoscopic image processing method and apparatus therefor