KR20210039343A - Method and apparatus for image processing - Google Patents

Method and apparatus for image processing Download PDF

Info

Publication number
KR20210039343A
KR20210039343A KR1020210027748A KR20210027748A KR20210039343A KR 20210039343 A KR20210039343 A KR 20210039343A KR 1020210027748 A KR1020210027748 A KR 1020210027748A KR 20210027748 A KR20210027748 A KR 20210027748A KR 20210039343 A KR20210039343 A KR 20210039343A
Authority
KR
South Korea
Prior art keywords
image
specific content
image data
image processing
degree
Prior art date
Application number
KR1020210027748A
Other languages
Korean (ko)
Other versions
KR102337699B1 (en
Inventor
임국찬
신승민
신승호
유연걸
장병준
한진용
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020190121694A external-priority patent/KR102241240B1/en
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020210027748A priority Critical patent/KR102337699B1/en
Publication of KR20210039343A publication Critical patent/KR20210039343A/en
Application granted granted Critical
Publication of KR102337699B1 publication Critical patent/KR102337699B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • G06T5/009—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

According to an embodiment, an image processing method of an image processing apparatus includes the following steps of: obtaining image data which photographs a target and photographing environment information of the image data; and inserting specific content to be displayed in a picture-in-picture (PIP) format in a display image of the image data by reflecting a visual effect based on the photographing environment information.

Description

영상 처리 장치 및 방법{METHOD AND APPARATUS FOR IMAGE PROCESSING}Image processing apparatus and method {METHOD AND APPARATUS FOR IMAGE PROCESSING}

본 발명은 영상 처리 장치 및 방법에 관한 것으로서, 더욱 상세하게는 PIP(Picture In Picture) 형태를 포함하는 영상을 처리하는 장치 및 방법에 관한 것이다.The present invention relates to an image processing apparatus and method, and more particularly, to an apparatus and method for processing an image including a picture in picture (PIP) type.

최근 5세대 이동 통신(5G; 5th generation mobile telecommunication)에 기반하여 다양한 응용 서비스에 대한 연구 개발이 이루어지고 있다. 이러한 응용 서비스의 예로서, 360도 카메라와 가상 현실(VR; virtual reality) 기술이 접목된 실시간 라이브 중계 서비스와 고품질의 주문형 비디오(VOD; video on demand) 서비스 등이 있다.Recently, research and development for various application services has been conducted based on 5th generation mobile telecommunication (5G). Examples of such application services include a real-time live broadcast service in which a 360-degree camera and virtual reality (VR) technology are combined, and a high-quality video on demand (VOD) service.

일반적으로 360도 카메라는 광각의 렌즈(예컨대, 어안 렌즈(fisheye lens))와 이미지 센서를 포함하여 광시야각을 가지는 복수의 카메라를 연결하여 다양한 각도의 영상을 촬영하고, 이를 상호 연결(스티칭)하여 하나의 영상으로 만들어냄으로써, 카메라를 중심으로 360도 전체 영역에 대응하는 영상을 제공할 수 있다. 이러한 360도 카메라에 의해 촬영된 360도 영상이나 동영상(이하, '영상'이라 함)은 일반 디스플레이에서 방향을 회전하며 보거나 또는 HMD(Head Mounted Display) 기기를 통해 시선의 방향을 돌림으로써, 촬영 공간에 있는 것과 같은 효과를 느낄 수 있도록 하고 있다. 아울러, 360도 영상을 가상 현실 기술에 접목시키면 몰입감이 더 향상된 가상 현실 서비스를 제공할 수 있고, 이러한 360도 가상 현실 영상을 중계하는 서비스를 360VR 영상 중계 서비스라 한다.In general, a 360-degree camera connects a plurality of cameras having a wide viewing angle including a wide-angle lens (e.g., a fisheye lens) and an image sensor to capture images of various angles, and connect (stitch) them to each other. By creating a single image, it is possible to provide an image corresponding to the entire 360-degree area around the camera. A 360-degree image or video (hereinafter referred to as'video') captured by such a 360-degree camera can be viewed while rotating on a general display or by rotating the direction of the gaze through a head mounted display (HMD) device. You can feel the same effect as in. In addition, when a 360-degree image is combined with virtual reality technology, a virtual reality service with improved immersion can be provided, and a service that relays such a 360-degree virtual reality image is referred to as a 360VR image relay service.

한국등록특허 제10-2013450호 (등록일: 2019년 08월 16일)Korean Patent Registration No. 10-2013450 (Registration Date: August 16, 2019)

영상 표시 기술 중, PIP 영상 표시법은 본 영상내의 소정 영역에 부가적으로 작은 영상을 삽입하여 함께 표시함으로써, 다양한 정보를 한 눈에 전달하거나 파악할 수 있도록 한다. 이러한 PIP 영상 표시법은 360도 영상이 접목된 가상 현실 서비스에 이용될 수 있다. 예를 들어, 360도 영상을 이용하여 가상 현실 환경을 구현함에 있어서 본 영상인 가상 현실 영상의 일부 영역에 부가 영상을 PIP 형태로 삽입하여 함께 표시할 수 있다.Among the video display technologies, the PIP video display method allows a variety of information to be transmitted or grasped at a glance by inserting and displaying a small image additionally in a predetermined area of the present image. This PIP image display method can be used for a virtual reality service in which a 360 degree image is grafted. For example, when implementing a virtual reality environment using a 360-degree image, an additional image may be inserted into a partial area of the virtual reality image, which is the main image, in the form of a PIP, and displayed together.

실시예에 따르면, PIP 영상 표시법을 가상 현실 기술에 접목하여, 가상 현실용 영상 내의 일부 영역에 PIP 영상이 함께 표시되도록 할 때에 PIP 영상에 의하여 가상 현실 영상의 현실감 및 몰입도가 저하되지 않도록 하는 영상 처리 장치 및 방법을 제공한다.According to an embodiment, when the PIP image display method is combined with the virtual reality technology, when the PIP image is displayed in a partial area of the virtual reality image together, the realism and immersion of the virtual reality image is not reduced by the PIP image. A processing apparatus and method are provided.

본 발명의 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The problem to be solved of the present invention is not limited to those mentioned above, and another problem to be solved that is not mentioned will be clearly understood by those of ordinary skill in the art from the following description.

제 1 관점에 따른 영상 처리 장치의 영상 처리 방법은, 대상을 촬영한 영상 데이터와 상기 영상 데이터의 촬영 환경 정보를 획득하는 단계와, 상기 촬영 환경 정보에 기초한 시각 효과를 결정하는 단계와, 상기 영상 데이터의 표시 영상에 PIP(Picture In Picture) 형태로 표시될 수 있도록 특정 콘텐츠를 삽입하는 단계와, 상기 특정 콘텐츠에 결정된 상기 시각효과를 반영하는 단계를 포함할 수 있다.An image processing method of an image processing apparatus according to a first aspect includes the steps of obtaining image data photographing a target and photographing environment information of the image data, determining a visual effect based on the photographing environment information, and the image It may include inserting specific content to be displayed in the form of a picture in picture (PIP) in the display image of the data, and reflecting the determined visual effect on the specific content.

제 2 관점에 따른 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체는, 상기 영상 처리 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함할 수 있다.A computer-readable recording medium storing the computer program according to the second aspect may include instructions for causing a processor to perform the image processing method.

제 3 관점에 따른 컴퓨터 판독 가능한 기록매체에 저장되어 있는 컴퓨터 프로그램은 상기 영상 처리 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함할 수 있다.The computer program stored in the computer-readable recording medium according to the third aspect may include instructions for causing the processor to perform the image processing method.

본 발명의 실시예에 의하면, PIP 영상 표시법을 가상 현실 기술에 접목하여, 가상 현실용 영상 내의 일부 영역에 PIP 영상이 함께 표시되도록 할 때에 PIP 영상에 의하여 가상 현실 영상의 현실감 및 몰입도가 저하되지 않도록 하는 효과가 있다.According to an embodiment of the present invention, when a PIP image display method is combined with a virtual reality technology to display a PIP image in a partial area within a virtual reality image, the reality and immersion of the virtual reality image is not reduced by the PIP image. It has the effect of preventing.

도 1은 본 발명의 일 실시예에 따른 영상 처리 장치를 포함하는 360도 영상 중계 서비스 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 영상 처리 장치에서 수행되는 영상 처리 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 영상 처리 장치에서 360도 영상의 특정 영역에 PIP 형태로 특정 콘텐츠를 삽입하는 과정을 설명하기 위한 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 영상 처리 장치에서 360도 영상의 지정 영역에 PIP 형태로 특정 콘텐츠를 삽입하는 과정을 설명하기 위한 흐름도이다.
도 5는 도 3의 과정에 의하여 특정 콘텐츠가 삽입된 360도 영상의 예시도이다.
도 6은 도 4의 과정에 의하여 특정 콘텐츠가 삽입된 360도 영상의 예시도이다.1 is a block diagram of a 360-degree video relay service system including an image processing apparatus according to an embodiment of the present invention.
2 is a flowchart illustrating an image processing method performed by an image processing apparatus according to an embodiment of the present invention.
3 is a flowchart illustrating a process of inserting specific content in a PIP format into a specific area of a 360-degree image in an image processing apparatus according to an embodiment of the present invention.
4 is a flowchart illustrating a process of inserting specific content in a PIP format into a designated area of a 360-degree image in an image processing apparatus according to an embodiment of the present invention.
5 is an exemplary diagram of a 360-degree image into which specific content is inserted by the process of FIG. 3.
6 is an exemplary diagram of a 360-degree image into which specific content is inserted by the process of FIG. 4.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명의 범주는 청구항에 의해 정의될 뿐이다.Advantages and features of the present invention, and a method of achieving them will become apparent with reference to the embodiments described below in detail together with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various forms, and only these embodiments make the disclosure of the present invention complete, and those skilled in the art to which the present invention pertains. It is provided to fully inform the person of the scope of the invention, and the scope of the invention is only defined by the claims.

본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명은 본 발명의 실시예들을 설명함에 있어 실제로 필요한 경우 외에는 생략될 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In describing the embodiments of the present invention, detailed descriptions of known functions or configurations will be omitted except when actually necessary in describing the embodiments of the present invention. In addition, terms to be described later are terms defined in consideration of functions in an embodiment of the present invention, which may vary according to the intention or custom of users or operators. Therefore, the definition should be made based on the contents throughout the present specification.

도 1은 본 발명의 일 실시예에 따른 영상 처리 장치를 포함하는 360도 영상 중계 서비스 시스템의 구성도이다.1 is a block diagram of a 360-degree video relay service system including an image processing apparatus according to an embodiment of the present invention.

도 1에 나타낸 바와 같이 360도 영상 중계 서비스 시스템(100)은 360도 카메라(110), 영상 가공부(120), 영상 처리 장치(130), 영상 전송부(140) 및 CDN(Contents Delivery Network) 서버(150)를 포함할 수 있다. 영상 처리 장치(130)는 영상 획득부(131), 제어부(132), 출력부(133) 및 저장부(134)를 포함할 수 있다. 여기서, 제어부(132)는 마이크로프로세서(microprocess) 등과 같은 컴퓨팅 연산수단을 포함할 수 있다.As shown in Figure 1, the 360-degree video relay service system 100 includes a 360-degree camera 110, an image processing unit 120, an image processing device 130, an image transmission unit 140, and a CDN (Contents Delivery Network). It may include a server 150. The image processing apparatus 130 may include an image acquisition unit 131, a control unit 132, an output unit 133, and a storage unit 134. Here, the control unit 132 may include a computing operation means such as a microprocessor.

360도 카메라(110)는 광각의 렌즈(예컨대, 어안 렌즈(fisheye lens))와 이미지 센서를 포함하여 광시야각을 가지는 복수의 카메라를 포함할 수 있고, 자신을 중심으로 360도의 대상을 촬영하여 획득한 복수의 영상 데이터를 영상 가공부(120)에 제공한다.The 360-degree camera 110 may include a plurality of cameras having a wide viewing angle including a wide-angle lens (eg, a fisheye lens) and an image sensor, and is acquired by photographing a 360-degree object around itself. A plurality of image data is provided to the image processing unit 120.

영상 가공부(120)는 360도 카메라(110)로부터 제공되는 복수의 영상 데이터에 대하여 각각 카메라의 경계면을 추출하고, 서로 인접한 경계면을 상호 연결(스티칭)하여 하나의 360도 영상 데이터를 생성한다.The image processing unit 120 extracts a boundary surface of each camera with respect to a plurality of image data provided from the 360-degree camera 110, and generates one 360-degree image data by interconnecting (stitching) adjacent boundary surfaces.

영상 처리 장치(130)는 영상 가공부(120)에 의해 생성된 360도 영상 데이터와 360도 카메라(110)의 촬영 환경 정보를 획득하고, 촬영 환경 정보에 기초한 시각 효과를 반영하여, 360도 영상 데이터의 표시 영상에 PIP(Picture In Picture) 형태로 표시될 수 있도록 특정 콘텐츠를 삽입할 수 있다. 이러한 영상 처리 장치(130)의 세부 구성요소에 대해서는 아래에서 다시 설명하기로 한다.The image processing apparatus 130 acquires 360-degree image data generated by the image processing unit 120 and photographing environment information of the 360-degree camera 110, and reflects a visual effect based on the photographing environment information, and provides a 360-degree image. Specific content can be inserted so that the display image of the data can be displayed in the form of a picture in picture (PIP). Detailed components of the image processing apparatus 130 will be described again below.

영상 전송부(140)는 영상 처리 장치(130)로부터 특정 콘텐츠가 PIP 형태로 삽입된 360도 영상 데이터를 제공받고, 제공받은 360도 영상 데이터를 기 설정된 압축방식, 비트레이트(bitrate) 및 전송 프로토콜(protocol) 등에 맞추어 변환한 후 스트리밍(streaming) 등의 전송방식을 이용하여 CDN 서버(150)로 전송한다.The image transmission unit 140 receives 360-degree image data in which a specific content is inserted in a PIP form from the image processing device 130, and receives the received 360-degree image data in a preset compression method, bitrate, and transmission protocol. After converting according to (protocol), etc., it is transmitted to the CDN server 150 using a transmission method such as streaming.

CDN 서버(150)는 영상 전송부(140)로부터 전송받는 특정 콘텐츠가 PIP 형태로 삽입된 360도 영상 데이터에 대한 딜리버리(delivery) 서비스를 제공한다. 예를 들어, CDN 서버(150)는 서비스 네트워크에 접속된 이동통신 단말이나 HMD(Head Mounted Display) 기기 등을 포함하는 클라이언트 단말의 요청에 따라 360도 영상 데이터를 스트리밍 등의 전송방식을 이용하여 제공할 수 있다.The CDN server 150 provides a delivery service for 360 degree image data into which specific content transmitted from the image transmission unit 140 is inserted in the form of a PIP. For example, the CDN server 150 provides 360-degree image data using a transmission method such as streaming at the request of a mobile communication terminal connected to the service network or a client terminal including a head mounted display (HMD) device. can do.

이상에서 설명한 바와 같은 도 1의 360도 영상 중계 서비스 시스템(100)에서, 영상 가공부(120)에 제공되는 복수의 영상 데이터가 가상 현실 서비스를 제공하기 위한 360도 가상 현실 영상일 경우, 360VR 영상 중계 서비스를 제공할 수 있는 360VR 영상 중계 서비스 시스템이라 할 수 있다.In the 360-degree image relay service system 100 of FIG. 1 as described above, when a plurality of image data provided to the image processing unit 120 is a 360-degree virtual reality image for providing a virtual reality service, a 360 VR image It can be said to be a 360VR video relay service system that can provide a relay service.

영상 처리 장치(130)의 세부 구성요소에 대하여 좀 더 자세히 살펴보기로 한다.Detailed components of the image processing apparatus 130 will be described in more detail.

영상 획득부(131)는 대상을 촬영한 영상 데이터를 획득한다. 예를 들어, 영상 획득부(131)는 영상 가공부(120)로부터 360도 영상 데이터를 제공받을 수 있다. 도 1에는 영상 획득부(131)가 360도 카메라(110) 및 영상 가공부(120)와 분리된 실시예를 나타내었으나, 영상 획득부(131)가 360도 카메라(110)와 영상 가공부(120) 중 하나 이상을 포함하여 일체로 구현될 수도 있다.The image acquisition unit 131 acquires image data photographing an object. For example, the image acquisition unit 131 may receive 360 degree image data from the image processing unit 120. 1 shows an embodiment in which the image acquisition unit 131 is separated from the 360° camera 110 and the image processing unit 120, but the image acquisition unit 131 includes the 360° camera 110 and the image processing unit ( 120) may be implemented integrally.

제어부(132)는 영상 데이터와 이 영상 데이터에 PIP 형태로 삽입하고자 하는 특정 콘텐츠를 비교한 결과에 기초하여 영상 데이터의 표시 영상내의 PIP 영역을 선정할 수 있다.The controller 132 may select a PIP area in the display image of the image data based on a result of comparing the image data with specific content to be inserted in the image data in the form of a PIP.

그리고, 제어부(132)는 영상 획득부(131)에 의하여 획득된 영상 데이터로부터 영상 데이터의 촬영 환경 정보를 획득할 수 있다. 예를 들어, 제어부(132)는 360도 카메라(110)의 촬영 환경 정보를 획득할 수 있다. 이러한 제어부(132)는 영상 데이터와 이 영상 데이터에 PIP 형태로 삽입하고자 하는 특정 콘텐츠를 비교한 결과에 기초하여 촬영 환경 정보를 획득할 수 있다. 이 경우에, 촬영 환경 정보는 촬영의 대상에 영향을 주는 조명의 색상값 또는 휘도값을 포함할 수 있다. 또는, 제어부(132)는 영상 데이터의 컬러 히스토그램(color histogram)을 분석한 결과에 기초하여 촬영 환경 정보를 획득할 수 있다. 이 경우에, 촬영 환경 정보는 영상 데이터의 영역별 평균 주파수를 포함할 수 있다.In addition, the controller 132 may acquire photographing environment information of the image data from the image data acquired by the image acquisition unit 131. For example, the control unit 132 may obtain information on the photographing environment of the 360 degree camera 110. The controller 132 may obtain photographing environment information based on a result of comparing the image data with specific content to be inserted in the image data in the form of a PIP. In this case, the photographing environment information may include a color value or a luminance value of lighting that affects the object to be photographed. Alternatively, the controller 132 may obtain photographing environment information based on a result of analyzing a color histogram of the image data. In this case, the photographing environment information may include an average frequency for each region of the image data.

아울러, 제어부(132)는 영상 데이터의 촬영 환경 정보에 기초하여 특정 콘텐츠에 대한 시각 효과를 결정할 수 있다. 예를 들어, 촬영 환경 정보에 촬영의 대상에 영향을 주는 조명의 색상값 또는 휘도값이 포함될 경우에 특정 콘텐츠에 대한 시각 효과는 특정 콘텐츠를 표시할 때의 색상값 조정 또는 휘도값 조정이 될 수 있다. 또는, 촬영 환경 정보에 영상 데이터의 영역별 평균 주파수가 포함될 경우에 특정 콘텐츠에 대한 시각 효과는 특정 콘텐츠를 표시할 때의 영역별 평균 주파수 조정이 될 수 있다.In addition, the controller 132 may determine a visual effect for a specific content based on the photographing environment information of the image data. For example, if the shooting environment information includes the color value or luminance value of lighting that affects the subject of shooting, the visual effect for a specific content may be adjustment of the color value or luminance value when displaying the specific content. have. Alternatively, when the photographing environment information includes an average frequency for each region of the image data, the visual effect on the specific content may be an average frequency adjustment for each region when the specific content is displayed.

또한, 제어부(132)는 촬영 환경 정보에 기초한 시각 효과를 반영하여, 영상 데이터의 표시 영상내의 선정된 PIP 영역 또는 임의의 PIP 영역에 PIP 형태로 표시될 수 있도록 특정 콘텐츠를 삽입할 수 있다. 예를 들어, 제어부(132)는 특정 콘텐츠를 영상 데이터에 삽입할 때에 촬영 환경 정보에 포함된 조명의 색상값 또는 휘도값에 대응하는 시각 효과를 반영할 수 있다. 또는, 제어부(132)는 특정 콘텐츠를 영상 데이터에 삽입할 때에 촬영 환경 정보에 포함된 영역별 평균 주파수에 대응하는 시각 효과를 반영할 수 있다.In addition, the control unit 132 may insert specific content so that it can be displayed in a PIP format in a selected PIP area or an arbitrary PIP area in the display image of the image data by reflecting the visual effect based on the photographing environment information. For example, when inserting specific content into image data, the controller 132 may reflect a visual effect corresponding to a color value or a luminance value of lighting included in the photographing environment information. Alternatively, the controller 132 may reflect a visual effect corresponding to an average frequency for each region included in the photographing environment information when inserting specific content into the image data.

출력부(133)는 제어부(132)의 제어에 따라, 특정 콘텐츠가 PIP 형태로 삽입된 영상 데이터를 출력한다. 예를 들어, 출력부(133)는 특정 콘텐츠가 PIP 형태로 삽입된 영상 데이터를 영상 전송부(140)에 제공할 수 있다.The output unit 133 outputs image data into which specific content is inserted in the form of a PIP under the control of the controller 132. For example, the output unit 133 may provide image data into which specific content is inserted in the form of a PIP to the image transmission unit 140.

저장부(134)에는 영상 데이터에 PIP 형태로 삽입될 수 있는 특정 콘텐츠가 저장될 수 있다. 예를 들어, 제어부(132)는 저장부(134)에 저장된 특정 콘텐츠를 읽어 들여 영상 데이터에 PIP 형태로 삽입시킬 수 있다. 이러한 저장부(134)는 제어부(132)의 내장 메모리로 구현할 수도 있다. 또는, 특정 콘텐츠는 제어부(132)의 입력 인터페이스(도시 생략됨)를 통하여 외부로부터 제공될 수도 있다.The storage unit 134 may store specific content that can be inserted into the image data in the form of a PIP. For example, the controller 132 may read specific content stored in the storage unit 134 and insert it into the image data in the form of a PIP. The storage unit 134 may be implemented as an internal memory of the control unit 132. Alternatively, specific content may be provided from the outside through an input interface (not shown) of the controller 132.

도 2는 본 발명의 일 실시예에 따른 영상 처리 장치(130)에서 수행되는 영상 처리 방법을 설명하기 위한 흐름도이다.2 is a flowchart illustrating an image processing method performed by the image processing apparatus 130 according to an embodiment of the present invention.

도 2에 나타낸 바와 같이 일 실시예에 따른 영상 처리 방법은, 대상을 촬영한 영상 데이터와 이 영상 데이터의 촬영 환경 정보를 획득하는 단계(S210)를 포함한다. 예를 들어, 단계 S210에서는 360도 카메라로 촬영된 복수의 영상 데이터가 서로 인접한 경계면이 상호 연결(스티칭)되어 하나로 생성된 360도 영상 데이터를 획득할 수 있다.As shown in FIG. 2, the image processing method according to the exemplary embodiment includes the step (S210) of acquiring image data photographing a target and information on a photographing environment of the image data. For example, in step S210, a plurality of image data photographed by a 360-degree camera may be connected (stitched) to adjacent boundary surfaces to obtain one-generated 360-degree image data.

그리고, 일 실시예에 따른 영상 처리 방법은, 영상 데이터의 촬영 환경 정보에 기초하여 특정 콘텐츠에 반영할 시각 효과를 결정하는 단계(S220)를 더 포함한다. 예를 들어, 단계 S220에서는 단계 S210에서 획득된 촬영 환경 정보에 기초하여 시각 효과를 결정할 수 있다. 예컨대, 특정 콘텐츠에 대한 시각 효과는 특정 콘텐츠를 표시할 때의 색상값 조정 또는 휘도값 조정, 또는 특정 콘텐츠를 표시할 때의 영역별 평균 주파수 조정이 될 수 있다.In addition, the image processing method according to an exemplary embodiment further includes determining a visual effect to be reflected in the specific content based on the photographing environment information of the image data (S220). For example, in step S220, the visual effect may be determined based on the photographing environment information acquired in step S210. For example, the visual effect for a specific content may be adjustment of a color value or a luminance value when displaying a specific content, or an average frequency adjustment for each area when a specific content is displayed.

아울러, 일 실시예에 따른 영상 처리 방법은, 영상 데이터의 촬영 환경 정보에 기초한 시각 효과를 반영하여, 영상 데이터의 표시 영상에 PIP 형태로 표시될 수 있도록 특정 콘텐츠를 삽입하는 단계(S220)를 더 포함할 수 있다. 예를 들어, 단계 S230에서는 특정 콘텐츠에 결정된 시각 효과를 반영한 후 영상 데이터의 표시 영상내의 PIP 영역에 삽입할 수 있다.In addition, the image processing method according to an embodiment further includes the step (S220) of inserting specific content so that the display image of the image data can be displayed in a PIP format by reflecting a visual effect based on the photographing environment information of the image data. Can include. For example, in step S230, after reflecting the determined visual effect on the specific content, the image data may be inserted into the PIP area in the display image.

이처럼, 도 2에 나타낸 바와 같은 영상 처리 장치(130)에서 수행되는 영상 처리 방법에 의하면 영상 데이터의 특정 영역 내 또는 지정 영역 내에 특정 콘텐츠를 PIP 형태로 삽입할 수 있다.As described above, according to the image processing method performed by the image processing apparatus 130 as illustrated in FIG. 2, specific content may be inserted in a specific area of image data or within a specific area in the form of a PIP.

도 3은 본 발명의 일 실시예에 따른 영상 처리 장치에서 360도 영상의 특정 영역에 PIP 형태로 특정 콘텐츠를 삽입하는 과정을 설명하기 위한 흐름도이고, 도 5는 도 3의 과정에 의하여 특정 콘텐츠가 삽입된 360도 영상의 예시도이다.3 is a flowchart illustrating a process of inserting specific content in a PIP format into a specific area of a 360-degree image in an image processing apparatus according to an embodiment of the present invention. This is an example diagram of an inserted 360-degree image.

도 5의 360도 영상은 본 영상(501)의 특정 영역에 PIP 형태로 특정 콘텐츠(502)가 삽입되어 표시되는 예를 나타낸 것이다. 여기서, 특정 콘텐츠(502)가 삽입되는 특정 영역은 360도 카메라(110)에 의하여 촬영되는 대상 공간에 디스플레이 장치가 설치된 위치이고, 촬영 대상 공간에 설치된 디스플레이 장치에는 특정 콘텐츠가 재생되는 환경을 가정한다.The 360-degree image of FIG. 5 shows an example in which a specific content 502 is inserted and displayed in a PIP format in a specific area of the image 501. Here, the specific area into which the specific content 502 is inserted is a location where the display device is installed in the target space photographed by the 360-degree camera 110, and an environment in which the specific content is played is assumed in the display device installed in the photographing target space. .

도 3 및 도 5를 참조하여 본 발명의 일 실시예에 따라 영상의 특정 영역에 PIP 형태로 특정 콘텐츠가 삽입되는 과정에 대해서 살펴보기로 한다. 도 3 및 도 5의 영상 처리 방법은 영상 데이터의 표시 영상 내에서 특정 영역을 PIP 영역으로 선정한 후 선정된 PIP 영역에 특정 콘텐츠를 삽입하는 실시예를 나타낸 것이다.Referring to FIGS. 3 and 5, a process of inserting specific content into a specific area of an image in the form of a PIP according to an embodiment of the present invention will be described. The image processing method of FIGS. 3 and 5 shows an embodiment in which a specific area is selected as a PIP area in a display image of image data and then a specific content is inserted into the selected PIP area.

먼저, 360도 카메라(110)는 자신을 중심으로 360도의 대상을 촬영하여 획득한 복수의 영상 데이터를 영상 가공부(120)에 제공하고, 영상 가공부(120)는 360도 카메라(110)로부터 제공되는 복수의 영상 데이터에 대하여 각각 카메라의 경계면을 추출하며, 서로 인접한 경계면을 상호 연결(스티칭)하여 하나의 360도 영상 데이터를 생성한 후 영상 처리 장치(130)에 제공한다. 여기서, 영상 처리 장치(130)에 제공되는 360도 영상 데이터 내에는 촬영 대상 공간에 설치된 디스플레이 장치를 촬영한 데이터가 포함되어 있다.First, the 360 degree camera 110 provides the image processing unit 120 with a plurality of image data acquired by photographing a 360 degree object around itself, and the image processing unit 120 from the 360 degree camera 110 A boundary surface of a camera is extracted from each of the plurality of provided image data, and adjacent boundary surfaces are interconnected (stitched) to generate one 360-degree image data, and then provided to the image processing apparatus 130. Here, the 360-degree image data provided to the image processing device 130 includes data photographing a display device installed in a space to be photographed.

여기서, 영상 가공부(120)에 의해 생성된 360도 영상 데이터가 그대로 영상 전송부(140)을 통해 CDN 서버(150)로 제공되고, 이러한 360도 영상 데이터를 CDN 서버(150)로부터 전송받은 클라이언트 단말에서 재생한다고 가정한다. 그러면, 360도 영상 데이터 내에는 촬영 대상 공간에 설치된 디스플레이 장치를 촬영한 데이터가 포함되어 있는데, 디스플레이 장치의 화면을 촬영한 것이기에 해상도 차이 등으로 인하여 디스플레이 장치를 촬영한 데이터를 클라이언트 단말에서 그대로 재생하면 주변의 다른 영역에 비하여 선명도가 낮을 수밖에 없다. 이러한 선명도 차이를 극복하기 위하여 영상 처리 장치(130)가 필요하고, 촬영 대상 공간의 디스플레이 장치에 재생될 특정 콘텐츠가 영상 처리 장치(130)의 저장부(134)에 미리 저장된다.Here, the 360-degree image data generated by the image processing unit 120 is provided to the CDN server 150 through the image transmission unit 140 as it is, and the client receiving the 360-degree image data from the CDN server 150 It is assumed to be played on the terminal. Then, the 360-degree image data includes data photographing the display device installed in the space to be photographed. Since the screen of the display device is photographed, if the data photographed by the display device is reproduced as it is in the client terminal due to a difference in resolution, etc. The sharpness is inevitably low compared to other areas around it. In order to overcome this difference in sharpness, the image processing device 130 is required, and specific content to be played back on the display device of the photographing target space is previously stored in the storage unit 134 of the image processing device 130.

영상 가공부(120)에 의하여 영상 처리 장치(130)에 360도 영상 데이터가 제공되면, 영상 획득부(131)가 영상 가공부(120)에 의해 생성된 360도 영상 데이터를 획득하게 되며, 획득된 360도 영상 데이터를 제어부(132)에 제공한다. 여기서, 제어부(132)에 제공되는 360도 영상 데이터에는 영상 데이터의 촬영 환경 정보, 즉 360도 카메라(110)의 촬영 환경 정보가 포함되어 있다. 예를 들어, 360도 카메라(110)의 주변이 있는 조명은 촬영 대상에 영향을 주게 되고, 이러한 촬영 환경에서 360도 카메라(110)에 의해 촬영된 360도 영상 데이터에 조명의 색상값 또는 휘도값 등이 반영되는 것이다(S310).When 360-degree image data is provided to the image processing device 130 by the image processing unit 120, the image acquisition unit 131 acquires the 360-degree image data generated by the image processing unit 120, and is acquired. The 360-degree image data is provided to the controller 132. Here, the 360-degree image data provided to the controller 132 includes photographing environment information of the image data, that is, photographing environment information of the 360-degree camera 110. For example, lighting in the vicinity of the 360-degree camera 110 affects the subject to be photographed, and the color value or luminance value of the lighting in the 360-degree image data captured by the 360-degree camera 110 in such a shooting environment And the like is reflected (S310).

제어부(132)는 영상 획득부(131)에 의해 제공되는 360도 영상 데이터와 저장부(134)에 저장되어 있는 특정 콘텐츠를 비교하여 360도 영상 데이터의 표시영상 내의 PIP 영역을 선정한다. 예를 들어, 제어부(132)는 360도 영상과 특정 콘텐츠의 시간축을 동기화하고, 특정 콘텐츠와 360도 영상의 부분 영역들을 비교하여 유사한 부분 영역을 촬영 대상 공간에 설치된 디스플레이 장치의 위치로 인식하여 해당 부분 영역을 PIP 영역으로 선정할 수 있다.The control unit 132 selects a PIP area in the display image of the 360-degree image data by comparing the 360-degree image data provided by the image acquisition unit 131 with specific content stored in the storage unit 134. For example, the controller 132 synchronizes the time axis of the 360-degree image and the specific content, compares the partial areas of the specific content and the 360-degree image, and recognizes the similar partial area as the location of the display device installed in the target space, A partial area can be selected as a PIP area.

이어서, 제어부(132)는 영상 획득부(131)에 의해 제공되는 360도 영상 데이터와 저장부(134)에 저장되어 있는 특정 콘텐츠를 비교한 결과에 기초하여 360도 영상 데이터의 촬영 환경 정보를 획득한다. 예를 들어, 앞서 PIP 영역을 선정할 때와 같이 제어부(132)는 360도 영상과 특정 콘텐츠의 시간축을 동기화하고, 360도 영상의 평균 밝기와 특정 콘텐츠의 평균 밝기를 비교함으로써, 촬영 대상에 영향을 주는 조명의 색상값 또는 휘도값을 유추할 수 있다(S320).Subsequently, the control unit 132 acquires the photographing environment information of the 360-degree image data based on the result of comparing the 360-degree image data provided by the image acquisition unit 131 with the specific content stored in the storage unit 134. do. For example, as in the case of selecting a PIP area above, the controller 132 synchronizes the time axis of a 360-degree image with a specific content, and compares the average brightness of the 360-degree image with the average brightness of a specific content, thereby affecting the subject to be photographed. The color value or the luminance value of the lighting that gives light may be inferred (S320).

그리고, 제어부(132)는 360도 영상 데이터의 촬영 환경 정보에 기초하여 특정 콘텐츠에 반영할 시각 효과를 결정할 수 있다. 여기서, 시각 효과는 360도 카메라(110)의 촬영 환경이 영상 가공부(120)에 의해 생성되는 360도 영상 데이터에 영향을 주는 만큼, 특정 콘텐츠에도 그 만큼 영향을 줄 수 있는 변화 정도를 의미할 수 있다. 예를 들어, 촬영 환경 정보에 촬영의 대상에 영향을 주는 조명의 색상값 또는 휘도값이 포함될 경우에 특정 콘텐츠에 대한 시각 효과는 특정 콘텐츠를 표시할 때의 색상값 조정 또는 휘도값 조정이 될 수 있다(S330).In addition, the controller 132 may determine a visual effect to be reflected in the specific content based on the photographing environment information of the 360-degree image data. Here, the visual effect means the degree of change that can affect specific content as much as the photographing environment of the 360-degree camera 110 affects the 360-degree image data generated by the image processing unit 120. I can. For example, if the shooting environment information includes the color value or luminance value of lighting that affects the subject of shooting, the visual effect for a specific content may be adjustment of the color value or luminance value when displaying the specific content. Yes (S330).

아울러, 제어부(132)는 360도 영상 데이터의 표시 영상에 PIP 형태로 표시될 수 있도록 앞서 단계 S320에서 선정된 PIP 영역에 특정 콘텐츠를 삽입하는데, 단계 S330에서 결정된 시각 효과를 특정 콘텐츠에 반영한 후에 360도 영상 데이터의 PIP 영역에 삽입할 수 있다. 이러한 제어부(132)를 포함하는 영상 처리 장치(130)의 주 기능은 360도 영상 데이터의 표시영상 내에서 촬영 대상 공간에 설치된 디스플레이 장치의 표시영역을 PIP 영역으로 선정하고, 선정된 PIP 영역에 특정 콘텐츠를 PIP 형태로 삽입함으로써, 도 5의 예시와 같이 본 영상(501)과 특정 콘텐츠(502)의 선명도 차이가 최소화되도록 하는 것이다. 그런데, 본 영상(501)은 촬영 대상 환경의 조명 등의 영향이 반영되어 변화되지만 특정 콘텐츠(502)에는 촬영 대상 환경의 영향이 반영되어 있지 않기 때문에 이질감을 느끼게 된다. 예를 들어, 360도 영상이 가상 현실 영상일 경우라면 본 영상(501)과 특정 콘텐츠(502)의 이질감에 따라 가상 현실 영상의 현실감 및 몰입도가 저하되는 부작용을 초래한다. 이러한 부작용을 방지하려면 PIP 형태로 삽입되는 특정 콘텐츠(502)에 촬영 대상 환경의 영향을 반영할 필요가 있고, 제어부(132)는 단계 S330에서 결정된 시각 효과를 특정 콘텐츠에 반영함으로써, 본 영상(501)과 특정 콘텐츠(502)의 이질감이 발생하지 않도록 하는 것이다(S340).In addition, the controller 132 inserts specific content into the PIP area selected in step S320 so that the display image of 360-degree image data can be displayed in PIP format. After reflecting the visual effect determined in step S330 to the specific content, the 360 It can also be inserted into the PIP area of the image data. The main function of the image processing device 130 including the control unit 132 is to select a display area of a display device installed in a space to be photographed within a display image of 360-degree image data as a PIP area, and specify the selected PIP area. By inserting the content in the form of a PIP, the difference in clarity between the viewed image 501 and the specific content 502 is minimized as illustrated in FIG. 5. However, the image 501 changes by reflecting the effect of lighting of the environment to be photographed, but since the effect of the environment to be photographed is not reflected in the specific content 502, a sense of difference is felt. For example, if the 360-degree image is a virtual reality image, a side effect of lowering the sense of reality and immersion of the virtual reality image occurs according to the sense of difference between the present image 501 and the specific content 502. In order to prevent such side effects, it is necessary to reflect the effect of the shooting target environment on the specific content 502 inserted in the form of a PIP, and the control unit 132 reflects the visual effect determined in step S330 to the specific content. ) And the specific content 502 is to be prevented from occurring (S340).

다음으로, 출력부(133)는 제어부(132)의 제어에 따라, 특정 콘텐츠가 PIP 형태로 삽입된 360도 영상 데이터를 출력한다. 예를 들어, 출력부(133)는 특정 콘텐츠가 PIP 형태로 삽입된 360도 영상 데이터를 영상 전송부(140)에 제공할 수 있다.Next, the output unit 133 outputs 360 degree image data into which specific content is inserted in the form of a PIP under the control of the controller 132. For example, the output unit 133 may provide 360 degree image data in which specific content is inserted in the form of a PIP to the image transmission unit 140.

그러면, 영상 전송부(140)는 영상 처리 장치(130)로부터 특정 콘텐츠가 PIP 형태로 삽입된 360도 영상 데이터를 제공받고, 제공받은 360도 영상 데이터를 기 설정된 압축방식, 비트레이트 및 전송 프로토콜 등에 맞추어 변환한 후 스트리밍 등의 전송방식을 이용하여 CDN 서버(150)로 전송할 수 있다.Then, the image transmission unit 140 receives 360-degree image data in which a specific content is inserted in a PIP form from the image processing device 130, and converts the received 360-degree image data into a preset compression method, bit rate, and transmission protocol. After matching and converting, it may be transmitted to the CDN server 150 using a transmission method such as streaming.

그리고, CDN 서버(150)는 영상 전송부(140)로부터 전송받는 특정 콘텐츠가 PIP 형태로 삽입된 360도 영상 데이터에 대한 딜리버리 서비스를 제공한다. 예를 들어, CDN 서버(150)는 서비스 네트워크에 접속된 이동통신 단말이나 HMD 기기 등을 포함하는 클라이언트 단말의 요청에 따라 360도 영상 데이터를 스트리밍 등의 전송방식을 이용하여 제공할 수 있다.In addition, the CDN server 150 provides a delivery service for 360 degree image data in which specific content transmitted from the image transmission unit 140 is inserted in the form of a PIP. For example, the CDN server 150 may provide 360 degree image data by using a transmission method such as streaming in response to a request of a client terminal including a mobile communication terminal or an HMD device connected to the service network.

도 4는 본 발명의 일 실시예에 따른 영상 처리 장치에서 360도 영상의 지정 영역에 PIP 형태로 특정 콘텐츠를 삽입하는 과정을 설명하기 위한 흐름도이고, 도 6은 도 3의 과정에 의하여 특정 콘텐츠가 삽입된 360도 영상의 예시도이다.4 is a flowchart illustrating a process of inserting a specific content in a PIP format into a designated area of a 360-degree image in an image processing apparatus according to an embodiment of the present invention. This is an example diagram of an inserted 360-degree image.

도 6의 360도 영상은 본 영상(601)의 지정 영역에 PIP 형태로 특정 콘텐츠(602)가 삽입되어 표시되는 예를 나타낸 것이다. 여기서, 특정 콘텐츠(602)가 삽입되는 영역은 사용자에 의하여 미리 지정될 수 있다. 예를 들어, 본 영상(601)을 표시하여 제공할 때에 다양한 부가 정보를 제공하기 위하여 보조 영상이 필요할 수 있고, 필요한 보조 영상에 대응하는 특정 콘텐츠(602)를 PIP 형태로 본 영상(601)에 삽입할 수 있다. 이를 위해, 사용자는 본 영상(601)의 전체 영역 중 주요 활동(activity)이 발생하지 않는 영역을 PIP 영역으로 미리 지정할 수 있고, PIP 영역에 대한 정보를 제어부(132)에 미리 설정하여 둘 수 있다. 아울러, PIP 형태로 삽입할 특정 콘텐츠(602)는 저장부(134)에 미리 저장될 수 있다.The 360-degree image of FIG. 6 shows an example in which a specific content 602 is inserted and displayed in a PIP format in a designated area of the present image 601. Here, the area into which the specific content 602 is inserted may be previously designated by the user. For example, when displaying and providing the main video 601, an auxiliary video may be required to provide various additional information, and specific content 602 corresponding to the required auxiliary video is displayed in the video 601 in the form of a PIP. Can be inserted. To this end, the user may pre-designate an area in which no major activity occurs among the entire area of the image 601 as a PIP area, and information about the PIP area may be preset in the control unit 132. . In addition, the specific content 602 to be inserted in the form of a PIP may be previously stored in the storage unit 134.

도 4 및 도 6을 참조하여 본 발명의 일 실시예에 따라 영상의 지정 영역에 PIP 형태로 특정 콘텐츠가 삽입되는 과정에 대해서 살펴보기로 한다.Referring to FIGS. 4 and 6, a process of inserting a specific content into a designated area of an image in the form of a PIP according to an embodiment of the present invention will be described.

먼저, 360도 카메라(110)는 자신을 중심으로 360도의 대상을 촬영하여 획득한 복수의 영상 데이터를 영상 가공부(120)에 제공하고, 영상 가공부(120)는 360도 카메라(110)로부터 제공되는 복수의 영상 데이터에 대하여 각각 카메라의 경계면을 추출하며, 서로 인접한 경계면을 상호 연결(스티칭)하여 하나의 360도 영상 데이터를 생성한 후 영상 처리 장치(130)에 제공한다. 여기서, 영상 처리 장치(130)에 제공되는 360도 영상 데이터 내에는 촬영 대상 공간에 설치된 디스플레이 장치를 촬영한 데이터가 포함되어 있다.First, the 360 degree camera 110 provides the image processing unit 120 with a plurality of image data acquired by photographing a 360 degree object around itself, and the image processing unit 120 from the 360 degree camera 110 A boundary surface of a camera is extracted from each of the plurality of provided image data, and adjacent boundary surfaces are interconnected (stitched) to generate one 360-degree image data, and then provided to the image processing apparatus 130. Here, the 360-degree image data provided to the image processing device 130 includes data photographing a display device installed in a space to be photographed.

영상 가공부(120)에 의하여 영상 처리 장치(130)에 360도 영상 데이터가 제공되면, 영상 획득부(131)가 영상 가공부(120)에 의해 생성된 360도 영상 데이터를 획득하게 되며, 획득된 360도 영상 데이터를 제어부(132)에 제공한다. 여기서, 제어부(132)에 제공되는 360도 영상 데이터에는 영상 데이터의 촬영 환경 정보, 즉 360도 카메라(110)의 촬영 환경 정보가 포함되어 있다. 예를 들어, 360도 카메라(110)의 주변이 있는 조명은 촬영 대상에 영향을 주게 되고, 이러한 촬영 환경에서 360도 카메라(110)에 의해 촬영된 360도 영상 데이터에 조명의 영향이 반영되는 것이다(S410).When 360-degree image data is provided to the image processing device 130 by the image processing unit 120, the image acquisition unit 131 acquires the 360-degree image data generated by the image processing unit 120, and is acquired. The 360-degree image data is provided to the controller 132. Here, the 360-degree image data provided to the controller 132 includes photographing environment information of the image data, that is, photographing environment information of the 360-degree camera 110. For example, lighting in the vicinity of the 360-degree camera 110 affects the subject to be photographed, and the influence of the lighting is reflected in the 360-degree image data captured by the 360-degree camera 110 in such a shooting environment. (S410).

이어서, 제어부(132)는 영상 획득부(131)에 의해 제공되는 360도 영상 데이터를 분석하여 360도 영상 데이터의 촬영 환경 정보를 획득한다. 예를 들어, 제어부(132)는 360도 영상 데이터의 컬러 히스토그램(color histogram)을 분석한 결과에 기초하여 360도 영상 데이터의 영역별 평균 주파수를 파악하여 360도 영상 데이터의 촬영 환경 정보로서 획득할 수 있다(S420).Subsequently, the controller 132 analyzes the 360-degree image data provided by the image acquisition unit 131 to obtain photographing environment information of the 360-degree image data. For example, the control unit 132 may determine the average frequency for each area of the 360-degree image data based on the result of analyzing the color histogram of the 360-degree image data, and obtain it as photographing environment information of the 360-degree image data. Can be (S420).

그리고, 제어부(132)는 360도 영상 데이터의 촬영 환경 정보에 기초하여 특정 콘텐츠에 반영할 시각 효과를 결정할 수 있다. 도 6에 예시한 바와 같이 본 영상(601)의 지정 영역에 PIP 형태로 특정 콘텐츠(602)가 삽입되는데, 본 영상(601)에는 360도 영상 데이터의 촬영 환경의 영향이 반영되어 변화되지만 저장부(134)에 저장된 상태에서 재생 및 표시되는 특정 콘텐츠(602)에는 360도 영상 데이터의 촬영 환경 영향이 반영되어 있지 않기 때문에 이질감을 느끼게 된다. 이러한 이질감이 발생하지 않도록 하기 위한 것이 시각 효과라 할 수 있다(S430).In addition, the controller 132 may determine a visual effect to be reflected in the specific content based on the photographing environment information of the 360-degree image data. As illustrated in FIG. 6, a specific content 602 is inserted in the form of a PIP in the designated area of the image 601, and the image 601 reflects the influence of the shooting environment of the 360-degree image data and changes, but the storage unit The specific content 602 reproduced and displayed in the state stored in 134 does not reflect the effect of the photographing environment of the 360-degree image data, so a sense of difference is felt. It may be referred to as a visual effect to prevent such heterogeneity from occurring (S430).

아울러, 제어부(132)는 360도 영상 데이터의 표시 영상에 PIP 형태로 표시될 수 있도록 미리 지정되어 있는 PIP 영역에 특정 콘텐츠를 삽입하는데, 단계 S430에서 결정된 시각 효과를 특정 콘텐츠에 반영한 후에 360도 영상 데이터의 PIP 영역에 삽입할 수 있다. 여기서, 특정 콘텐츠에 단계 S430에서 결정된 시각 효과를 반영하면, 도 6의 예시와 같이 본 영상(601)과 특정 콘텐츠(602)가 함께 표시될 때에 본 영상(601)과 특정 콘텐츠(602)의 선명도 차이가 최소화되게 하고, 본 영상(601)과 특정 콘텐츠(602)의 이질감이 발생하지 않는다(S440).In addition, the control unit 132 inserts a specific content into a PIP area designated in advance so that it can be displayed in a PIP format on a display image of 360-degree image data. After reflecting the visual effect determined in step S430 to the specific content, the 360-degree image It can be inserted into the PIP area of the data. Here, if the visual effect determined in step S430 is reflected in the specific content, the sharpness of the video 601 and the specific content 602 viewed when the video 601 and the specific content 602 are displayed together as shown in the example of FIG. 6. The difference is minimized, and a sense of difference between the video 601 and the specific content 602 does not occur (S440).

다음으로, 출력부(133)는 제어부(132)의 제어에 따라, 특정 콘텐츠가 PIP 형태로 삽입된 360도 영상 데이터를 출력한다. 예를 들어, 출력부(133)는 특정 콘텐츠가 PIP 형태로 삽입된 360도 영상 데이터를 영상 전송부(140)에 제공할 수 있다.Next, the output unit 133 outputs 360 degree image data into which specific content is inserted in the form of a PIP under the control of the controller 132. For example, the output unit 133 may provide 360 degree image data in which specific content is inserted in the form of a PIP to the image transmission unit 140.

그러면, 영상 전송부(140)는 영상 처리 장치(130)로부터 특정 콘텐츠가 PIP 형태로 삽입된 360도 영상 데이터를 제공받고, 제공받은 360도 영상 데이터를 기 설정된 압축방식, 비트레이트 및 전송 프로토콜 등에 맞추어 변환한 후 스트리밍 등의 전송방식을 이용하여 CDN 서버(150)로 전송할 수 있다.Then, the image transmission unit 140 receives 360-degree image data in which a specific content is inserted in a PIP form from the image processing device 130, and converts the received 360-degree image data into a preset compression method, bit rate, and transmission protocol. After matching and converting, it may be transmitted to the CDN server 150 using a transmission method such as streaming.

그리고, CDN 서버(150)는 영상 전송부(140)로부터 전송받는 특정 콘텐츠가 PIP 형태로 삽입된 360도 영상 데이터에 대한 딜리버리 서비스를 제공한다. 예를 들어, CDN 서버(150)는 서비스 네트워크에 접속된 이동통신 단말이나 HMD 기기 등을 포함하는 클라이언트 단말의 요청에 따라 360도 영상 데이터를 스트리밍 등의 전송방식을 이용하여 제공할 수 있다.In addition, the CDN server 150 provides a delivery service for 360 degree image data in which specific content transmitted from the image transmission unit 140 is inserted in the form of a PIP. For example, the CDN server 150 may provide 360 degree image data by using a transmission method such as streaming in response to a request of a client terminal including a mobile communication terminal or an HMD device connected to the service network.

지금까지 설명한 바와 같이, 본 발명의 실시예에 의하면, PIP 영상 표시법을 가상 현실 기술에 접목하여, 가상 현실용 영상 내의 일부 영역에 PIP 영상이 함께 표시되도록 할 때에 PIP 영상에 의하여 가상 현실 영상의 현실감 및 몰입도가 저하되지 않도록 한다.As described so far, according to an embodiment of the present invention, when the PIP image display method is combined with the virtual reality technology to display the PIP image in a partial area of the image for virtual reality, the realism of the virtual reality image is achieved by the PIP image. And the degree of immersion is not reduced.

본 발명에 첨부된 각 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 기록매체에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 기록매체에 저장된 인스트럭션들은 흐름도의 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.Combinations of each step in each flowchart attached to the present invention may be performed by computer program instructions. Since these computer program instructions can be mounted on the processor of a general purpose computer, special purpose computer or other programmable data processing equipment, the instructions executed by the processor of the computer or other programmable data processing equipment are the functions described in each step of the flowchart. Will create a means of doing things. These computer program instructions can also be stored on a computer-usable or computer-readable recording medium that can be directed to a computer or other programmable data processing equipment to implement a function in a specific manner, so that the computer-readable or computer-readable medium. It is also possible to produce an article of manufacture containing instruction means for performing the functions described in each step of the flow chart with instructions stored on the recording medium. Since computer program instructions can also be mounted on a computer or other programmable data processing equipment, a series of operating steps are performed on a computer or other programmable data processing equipment to create a computer-executable process to create a computer or other programmable data processing equipment. It is also possible for the instructions to perform the processing equipment to provide steps for executing the functions described in each step of the flowchart.

또한, 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.In addition, each step may represent a module, segment, or part of code that contains one or more executable instructions for executing the specified logical function(s). In addition, it should be noted that in some alternative embodiments, the functions mentioned in the steps may occur out of order. For example, two steps shown in succession may in fact be performed substantially simultaneously, or the steps may sometimes be performed in the reverse order depending on the corresponding function.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the present invention, and those of ordinary skill in the art to which the present invention pertains will be able to make various modifications and variations without departing from the essential characteristics of the present invention. Accordingly, the embodiments disclosed in the present invention are not intended to limit the technical idea of the present invention, but to explain the technical idea, and the scope of the technical idea of the present invention is not limited by these embodiments. The scope of protection of the present invention should be interpreted by the following claims, and all technical ideas within the scope equivalent thereto should be construed as being included in the scope of the present invention.

본 발명의 실시예에 의하면, 360도 영상 데이터의 표시영상 내의 특정 영역 또는 임의 영역에 PIP 형태로 특정 콘텐츠를 삽입할 때에 특정 콘텐츠에 시각 효과를 반영함으로써, 360도 영상 데이터의 본 영상과 특정 콘텐츠가 함께 표시될 때에 이질감이 발생하지 않도록 한다. 이러한 PIP 영상 표시법을 가상 현실 기술에 접목하여, 가상 현실용 영상 내의 일부 영역에 PIP 영상이 함께 표시되도록 할 때에 PIP 영상에 의하여 가상 현실 영상의 현실감 및 몰입도가 저하되지 않도록 한다. 이처럼, 본 발명의 실시예는 360VR 영상 중계 서비스 등의 360도 영상 중계 서비스에 관련된 기술분야에 이용할 수 있다.According to an embodiment of the present invention, when a specific content is inserted in a specific area or a specific area in a display image of 360° video data in a PIP format, a visual effect is reflected on the specific content, thereby When is displayed together, make sure that there is no sense of heterogeneity. By grafting such a PIP image display method into a virtual reality technology, when a PIP image is displayed together in a partial area of an image for virtual reality, the reality and immersion of the virtual reality image is not degraded by the PIP image. As described above, an embodiment of the present invention can be used in the technical field related to a 360-degree video relay service such as a 360VR video relay service.

100: 360도 영상 중계 서비스 시스템
130: 영상 처리 장치
131: 영상 획득부
132: 제어부
133: 출력부
134: 저장부100: 360 degree video relay service system
130: image processing device
131: image acquisition unit
132: control unit
133: output unit
134: storage unit

Claims (7)

영상 처리 장치의 영상 처리 방법으로서,
대상을 촬영한 영상 데이터와 상기 영상 데이터의 촬영 환경 정보를 획득하는 단계와,
상기 촬영 환경 정보에 기초한 시각 효과를 결정하는 단계와,
상기 영상 데이터의 표시 영상에 PIP(Picture In Picture) 형태로 표시될 수 있도록 특정 콘텐츠를 삽입하는 단계와,
상기 특정 콘텐츠에 결정된 상기 시각효과를 반영하는 단계를 포함하는
영상 처리 방법.An image processing method of an image processing device, comprising:
Obtaining image data photographing a target and photographing environment information of the image data; and
Determining a visual effect based on the photographing environment information,
Inserting specific content to be displayed in the form of a picture in picture (PIP) in the display image of the image data;
Including the step of reflecting the determined visual effect on the specific content
Image processing method. 제 1 항에 있어서,
상기 영상 데이터와 상기 특정 콘텐츠를 비교한 결과에 기초하여 상기 표시 영상내의 PIP 영역을 선정하는 단계를 더 포함하고,
상기 삽입하는 단계는, 상기 선정된 PIP 영역에 상기 특정 콘텐츠를 삽입하는
영상 처리 방법.The method of claim 1,
Further comprising the step of selecting a PIP area in the display image based on a result of comparing the image data and the specific content,
The inserting step includes inserting the specific content into the selected PIP area.
Image processing method. 제 1 항에 있어서,
상기 촬영 환경 정보는, 상기 대상에 영향을 주는 조명의 색상값 또는 휘도값을 포함하고,
상기 시각효과는 상기 특정 콘텐츠를 표시할 때의 상기 특정 콘텐츠에 대한 색상값 조정 또는 휘도값 조정을 포함하는
영상 처리 방법.The method of claim 1,
The photographing environment information includes a color value or a luminance value of lighting that affects the target,
The visual effect includes adjusting a color value or adjusting a luminance value for the specific content when displaying the specific content.
Image processing method. 제 1 항에 있어서,
상기 영상 데이터의 컬러 히스토그램(color histogram)을 분석한 결과에 기초하여 상기 촬영 환경 정보를 획득하는
영상 처리 방법.The method of claim 1,
Acquiring the photographing environment information based on the result of analyzing the color histogram of the image data
Image processing method. 제 1 항에 있어서,
상기 촬영 환경 정보는, 상기 영상 데이터의 영역별 평균 주파수를 포함하고,
상기 시각 효과는, 상기 특정 콘텐츠를 표시할 때의 상기 특정 콘텐츠 내의 영역별 평균 주파수조정을 포함하는
영상 처리 방법.The method of claim 1,
The photographing environment information includes an average frequency for each region of the image data,
The visual effect includes an average frequency adjustment for each area within the specific content when displaying the specific content.
Image processing method. 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체로서,
제 1 항 내지 제 5 항 중 어느 한 항의 영상 처리 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하는
컴퓨터 판독 가능한 기록매체.As a computer-readable recording medium storing a computer program,
Including an instruction for causing the processor to perform the image processing method of any one of claims 1 to 5
Computer-readable recording medium. 컴퓨터 판독 가능한 기록매체에 저장되어 있는 컴퓨터 프로그램으로서,
제 1 항 내지 제 5 항 중 어느 한 항의 영상 처리 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하는
컴퓨터 프로그램.

As a computer program stored in a computer-readable recording medium,
Including an instruction for causing the processor to perform the image processing method of any one of claims 1 to 5
Computer program.
KR1020210027748A 2019-10-01 2021-03-02 Method and apparatus for image processing KR102337699B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210027748A KR102337699B1 (en) 2019-10-01 2021-03-02 Method and apparatus for image processing

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190121694A KR102241240B1 (en) 2019-10-01 2019-10-01 Method and apparatus for image processing
KR1020210027748A KR102337699B1 (en) 2019-10-01 2021-03-02 Method and apparatus for image processing

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020190121694A Division KR102241240B1 (en) 2019-10-01 2019-10-01 Method and apparatus for image processing

Publications (2)

Publication Number Publication Date
KR20210039343A true KR20210039343A (en) 2021-04-09
KR102337699B1 KR102337699B1 (en) 2021-12-09

Family

ID=78866192

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210027748A KR102337699B1 (en) 2019-10-01 2021-03-02 Method and apparatus for image processing

Country Status (1)

Country Link
KR (1) KR102337699B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140106221A (en) * 2013-02-26 2014-09-03 삼성전자주식회사 Photographing method and apparatus using multiple image sensors
JP5662738B2 (en) * 2010-08-23 2015-02-04 ミツミ電機株式会社 Luminance control device and luminance control method
KR20190027165A (en) * 2017-09-06 2019-03-14 단국대학교 산학협력단 Image Adjustment System and Method for Unifying Features of Multiple Images
KR102013450B1 (en) 2019-02-27 2019-08-22 주식회사 테크노블러드코리아 Method of providing relay content using a plurality of screens

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5662738B2 (en) * 2010-08-23 2015-02-04 ミツミ電機株式会社 Luminance control device and luminance control method
KR20140106221A (en) * 2013-02-26 2014-09-03 삼성전자주식회사 Photographing method and apparatus using multiple image sensors
KR20190027165A (en) * 2017-09-06 2019-03-14 단국대학교 산학협력단 Image Adjustment System and Method for Unifying Features of Multiple Images
KR102013450B1 (en) 2019-02-27 2019-08-22 주식회사 테크노블러드코리아 Method of providing relay content using a plurality of screens

Also Published As

Publication number Publication date
KR102337699B1 (en) 2021-12-09

Similar Documents

Publication Publication Date Title
KR102129792B1 (en) Information processing device, image generation method, control method and program
US9774896B2 (en) Network synchronized camera settings
US10009543B2 (en) Method and apparatus for displaying self-taken images
US8547443B2 (en) Methods, apparatuses, systems, and computer program products for high dynamic range imaging
JP2018112997A (en) Image processor, method of the same, program, and image processing system
JP2017212592A (en) Controller, control method, and program
KR20160128366A (en) Mobile terminal photographing method and mobile terminal
CN113064684B (en) Virtual reality equipment and VR scene screen capturing method
US11694303B2 (en) Method and apparatus for providing 360 stitching workflow and parameter
CN113115110B (en) Video synthesis method and device, storage medium and electronic equipment
JP2019191989A (en) System for, method of, and program for generating virtual viewpoint image
US20180338093A1 (en) Eye-tracking-based image transmission method, device and system
US20060082663A1 (en) Video camera
CN110730340B (en) Virtual audience display method, system and storage medium based on lens transformation
JP6790145B2 (en) Control device, control method, and program
CN113784084A (en) Processing method and device
KR20090044105A (en) Live-image providing system using contents of 3d virtual space
KR102241240B1 (en) Method and apparatus for image processing
KR102337699B1 (en) Method and apparatus for image processing
KR20150038147A (en) Image generation method
US20240015264A1 (en) System for broadcasting volumetric videoconferences in 3d animated virtual environment with audio information, and procedure for operating said device
US11825191B2 (en) Method for assisting the acquisition of media content at a scene
JP2019140483A (en) Image processing system, image processing system control method, transmission device, transmission method, and program
KR100826134B1 (en) System and Method for Providing Dance Moving Picture and Program Recording Medium
KR20180124539A (en) Chroma key remote synthesis synchronization system and method

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant