KR102220980B1 - Apparatus and method for providing augmented reality service - Google Patents
Apparatus and method for providing augmented reality service Download PDFInfo
- Publication number
- KR102220980B1 KR102220980B1 KR1020190084980A KR20190084980A KR102220980B1 KR 102220980 B1 KR102220980 B1 KR 102220980B1 KR 1020190084980 A KR1020190084980 A KR 1020190084980A KR 20190084980 A KR20190084980 A KR 20190084980A KR 102220980 B1 KR102220980 B1 KR 102220980B1
- Authority
- KR
- South Korea
- Prior art keywords
- virtual content
- size
- real image
- ratio
- attribute
- Prior art date
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 83
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000004458 analytical method Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000003416 augmentation Effects 0.000 claims 1
- 241000282472 Canis lupus familiaris Species 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 241001465754 Metazoa Species 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 239000000470 constituent Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000004397 blinking Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20036—Morphological image processing
- G06T2207/20044—Skeletonization; Medial axis transform
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Architecture (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
현실 영상 내의 객체에 상응하도록 크기를 조정하여 가상 컨텐츠를 제공할 수 있는 증강 현실 서비스 제공 장치 및 방법에 관한 것으로, 현실 영상을 획득하는 카메라부, 현실 영상에 표시하고자 하는 가상 컨텐츠를 저장하는 저장부, 현실 영상 내에 가상 컨텐츠를 표시하는 디스플레이부, 그리고 카메라부, 저장부 및 디스플레이부를 제어하는 제어부를 포함하고, 제어부는, 증강 현실 서비스 요청을 수신하면 현실 영상에 표시하고자 하는 가상 컨텐츠의 속성을 분석하고, 현실 영상 내에 가상 컨텐츠의 속성에 상응하는 객체가 존재하는지를 확인하며, 가상 컨텐츠의 속성에 상응하는 객체가 존재하면 객체에 상응하는 스켈레톤 데이터를 토대로 현실 영상 내에서의 객체 크기 및 비율을 산출하고, 산출된 객체 크기 및 비율을 토대로 가상 컨텐츠의 크기 및 비율을 조정하며, 크기 및 비율이 조정된 가상 컨텐츠를 현실 영상 내에 표시하도록 디스플레이부를 제어할 수 있다.A device and method for providing an augmented reality service capable of providing virtual content by adjusting a size to correspond to an object in a real image, comprising: a camera unit acquiring a real image; a storage unit storing virtual content to be displayed in a real image , A display unit for displaying virtual content in the real image, and a camera unit, a storage unit, and a control unit for controlling the display unit, wherein the control unit analyzes the properties of the virtual content to be displayed on the real image upon receiving an augmented reality service request. And, it checks whether an object corresponding to the property of the virtual content exists in the real image, and if an object corresponding to the property of the virtual content exists, the size and ratio of the object in the real video are calculated based on the skeleton data corresponding to the object. , Based on the calculated object size and ratio, the size and ratio of the virtual content may be adjusted, and the display unit may be controlled to display the virtual content with the adjusted size and ratio in the real image.
Description
본 발명은 증강 현실 서비스 제공 장치에 관한 것으로, 보다 상세하게는 현실 영상 내의 객체에 상응하도록 크기를 조정하여 가상 컨텐츠를 제공할 수 있는 증강 현실 서비스 제공 장치 및 방법에 관한 것이다.The present invention relates to an augmented reality service providing apparatus, and more particularly, to an augmented reality service providing apparatus and method capable of providing virtual content by adjusting a size to correspond to an object in a real image.
일반적으로, 증강 현실(Augmented Reality; AR)은, 사용자가 눈으로 보는 현실 세계에 가상 물체를 겹쳐 보여주는 기술이다.In general, Augmented Reality (AR) is a technology that superimposes a virtual object on the real world that a user sees.
또한, 증강 현실(Augmented Reality; AR)은, 현실 세계에서 실시간으로 부가 정보를 갖는 가상 세계를 합쳐 하나의 영상으로 보여주므로 혼합 현실(Mixed Reality; MR)이라고도 한다.In addition, Augmented Reality (AR) is also referred to as Mixed Reality (MR) because it combines a virtual world with additional information in real time and displays a single image.
최근에는, 가상 컨텐츠를 로딩하여 현실 영상 위에 표시하는 다양한 증강 현실 서비스를 제공하고 있다.In recent years, various augmented reality services are provided in which virtual content is loaded and displayed on a real image.
하지만, 이러한 증강 현실 서비스는, 가상 컨텐츠의 크기가 미리 정의되므로, 크기가 고정된 가상 컨텐츠가 현실 영상 내에 표시될 경우, 가상 컨텐츠가 현실 세계와 이질감이 존재하는 문제가 있었다.However, in the augmented reality service, since the size of the virtual content is predefined, when the virtual content with a fixed size is displayed in a real image, there is a problem that the virtual content has a sense of difference from the real world.
그리고, 기존의 증강 현실 서비스는, 현실 영상에서 바닥을 인식한 후에 해당 바닥을 기준으로 크기가 고정된 가상 컨텐츠를 배치하여 화면 위에 표시하므로, 가상 컨텐츠가 현실 영상 내의 다른 객체의 크기보다 더 크거나 작을 경우, 가상 객체가 현실 영상 내의 다른 객체들과 조화롭지 않게 표현되어 부자연스러운 문제가 있었다.In addition, in the existing augmented reality service, after recognizing a floor in a real image, a virtual content with a fixed size is placed on the screen and displayed on the screen, so that the virtual content is larger than the size of other objects in the real image. If it is small, there is an unnatural problem because the virtual object is expressed out of harmony with other objects in the real image.
이처럼, 가상 컨텐츠가 현실 영상 내의 다른 객체들의 크기보다 더 크거나 작게 표시될 경우, 사용자는, 가상 컨텐츠의 크기를 직접 조정하여 이동, 확대, 축소 조작을 수행해야 하는 불편함이 있었다.As described above, when the virtual content is displayed larger or smaller than the size of other objects in the real image, the user has to manually adjust the size of the virtual content to perform movement, enlargement, and reduction operations.
따라서, 현실 영상 내의 객체 속성에 상응하여 가상 컨텐츠의 크기를 자동 조절함으로써, 현실 영상에 대해 이질감이 없이 자연스러운 가상 컨텐츠를 표시할 수 있는 증강 현실 서비스 제공 장치의 개발이 요구되고 있다.Accordingly, there is a need for development of an augmented reality service providing apparatus capable of displaying natural virtual content without a sense of heterogeneity with respect to the real image by automatically adjusting the size of the virtual content corresponding to the object property in the real image.
본 발명은, 객체에 상응하는 스켈레톤 데이터를 토대로 현실 영상 내에서의 객체 크기 및 비율을 산출하여 이를 토대로 가상 컨텐츠의 크기 및 비율을 자동 조정함으로써, 현실 영상에 대해 이질감이 없이 자연스러운 가상 컨텐츠를 표시할 수 있는 증강 현실 서비스 제공 장치 및 방법을 제공하고자 한다.The present invention calculates the size and ratio of the object in the real image based on the skeleton data corresponding to the object, and automatically adjusts the size and ratio of the virtual content based on this, thereby displaying natural virtual content without a sense of heterogeneity in the real image. An augmented reality service providing apparatus and method that can be provided.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The technical problems to be achieved in the present invention are not limited to the technical problems mentioned above, and other technical problems that are not mentioned will be clearly understood by those of ordinary skill in the technical field to which the present invention belongs from the following description. I will be able to.
상기와 같은 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 증강 현실 서비스 제공 장치는, 현실 영상을 획득하는 카메라부, 현실 영상에 표시하고자 하는 가상 컨텐츠를 저장하는 저장부, 현실 영상 내에 가상 컨텐츠를 표시하는 디스플레이부, 그리고 카메라부, 저장부 및 디스플레이부를 제어하는 제어부를 포함하고, 제어부는, 증강 현실 서비스 요청을 수신하면 현실 영상에 표시하고자 하는 가상 컨텐츠의 속성을 분석하고, 현실 영상 내에 가상 컨텐츠의 속성에 상응하는 객체가 존재하는지를 확인하며, 가상 컨텐츠의 속성에 상응하는 객체가 존재하면 객체에 상응하는 스켈레톤 데이터를 토대로 현실 영상 내에서의 객체 크기 및 비율을 산출하고, 산출된 객체 크기 및 비율을 토대로 가상 컨텐츠의 크기 및 비율을 조정하며, 크기 및 비율이 조정된 가상 컨텐츠를 현실 영상 내에 표시하도록 디스플레이부를 제어할 수 있다.In order to solve the above technical problem, an augmented reality service providing apparatus according to an embodiment of the present invention includes a camera unit for acquiring a real image, a storage unit for storing virtual content to be displayed in a real image, and A display unit for displaying virtual content, and a control unit for controlling a camera unit, a storage unit, and a display unit, wherein the control unit analyzes the properties of the virtual content to be displayed in the real image upon receiving an augmented reality service request, and It checks whether an object corresponding to the property of the virtual content exists within it, and if an object corresponding to the property of the virtual content exists, the size and ratio of the object in the real image are calculated based on the skeleton data corresponding to the object, and the calculated object The size and ratio of the virtual content may be adjusted based on the size and ratio, and the display unit may be controlled to display the virtual content adjusted in size and ratio in the real image.
한편, 본 발명의 일 실시예에 따른 증강 현실 서비스 제공 방법은, 현실 영상을 획득하는 카메라부, 현실 영상 내에 가상 컨텐츠를 표시하는 디스플레이부 및 그들을 제어하는 제어부를 포함하는 증강 현실 서비스 제공 장치의 증강 현실 서비스 제공 방법으로서, 제어부가 증강 현실 서비스 요청을 수신하면 현실 영상에 표시하고자 하는 가상 컨텐츠의 속성을 분석하는 단계, 제어부가 현실 영상 내에 가상 컨텐츠의 속성에 상응하는 객체가 존재하는지를 확인하는 단계, 제어부가 가상 컨텐츠의 속성에 상응하는 객체가 존재하면 객체에 상응하는 스켈레톤 데이터를 토대로 현실 영상 내에서의 객체 크기 및 비율을 산출하는 단계, 제어부가 산출된 객체 크기 및 비율을 토대로 가상 컨텐츠의 크기 및 비율을 조정하는 단계, 그리고 제어부가 크기 및 비율이 조정된 가상 컨텐츠를 현실 영상 내에 표시하도록 디스플레이부를 제어하는 단계를 포함할 수 있다.On the other hand, the augmented reality service providing method according to an embodiment of the present invention is an augmented reality service providing apparatus including a camera unit for acquiring a reality image, a display unit for displaying virtual content in the real image, and a control unit for controlling them. A method of providing a reality service, comprising: analyzing an attribute of a virtual content to be displayed on a real image when a controller receives a request for an augmented reality service, and determining whether an object corresponding to the attribute of the virtual content exists in the real image, If an object corresponding to the property of the virtual content exists, calculating the size and ratio of the object in the real image based on the skeleton data corresponding to the object, the size and the size of the virtual content based on the calculated object size and ratio by the control unit It may include adjusting the ratio, and controlling the display unit to display the virtual content whose size and ratio have been adjusted in the real image.
한편, 본 발명의 일 실시예는, 상기 증강 현실 서비스 제공 방법들 중 어느 하나의 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램 및 상기 프로그램이 기록된 기록매체를 더 제공할 수도 있다.Meanwhile, an embodiment of the present invention may further provide a computer-readable program for executing any one of the augmented reality service providing methods and a recording medium on which the program is recorded.
상기와 같이 구성되는 본 발명의 적어도 하나의 실시예에 관련된 증강 현실 서비스 제공 장치 및 방법은, 객체에 상응하는 스켈레톤 데이터를 토대로 현실 영상 내에서의 객체 크기 및 비율을 산출하여 이를 토대로 가상 컨텐츠의 크기 및 비율을 자동 조정함으로써, 현실 영상에 대해 이질감이 없이 자연스러운 가상 컨텐츠를 표시할 수 있는 효과를 제공한다.In the apparatus and method for providing an augmented reality service according to at least one embodiment of the present invention configured as described above, the size and ratio of an object in a real image are calculated based on skeleton data corresponding to the object, and the size of virtual content And, by automatically adjusting the ratio, it provides an effect of displaying natural virtual content without a sense of heterogeneity with respect to a real image.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The effects obtainable in the present invention are not limited to the above-mentioned effects, and other effects not mentioned can be clearly understood by those of ordinary skill in the art from the following description. will be.
도 1은 본 발명에 따른 증강 현실 서비스 제공 장치를 설명하기 위한 블럭 구성도이다.
도 2는 도 1의 제어부를 상세히 설명하기 위한 블럭 구성도이다.
도 3은 현실 영상 내에 가상 컨텐츠가 부자연스럽게 표시된 예를 설명하기 위한 도면이다.
도 4는 현실 영상 내에 가상 컨텐츠가 자연스럽게 표시된 예를 설명하기 위한 도면이다.
도 5는 현실 영상 내에 가상 컨텐츠를 표시하는 과정을 설명하기 위한 도면이다.
도 6은 본 발명에 따른 증강 현실 서비스 제공 방법을 설명하기 위한 흐름도이다.1 is a block diagram illustrating an augmented reality service providing apparatus according to the present invention.
FIG. 2 is a block diagram illustrating the control unit of FIG. 1 in detail.
3 is a diagram for explaining an example in which virtual content is unnaturally displayed in a real image.
4 is a diagram for explaining an example in which virtual content is naturally displayed in a real image.
5 is a diagram for describing a process of displaying virtual content in a real image.
6 is a flowchart illustrating a method of providing an augmented reality service according to the present invention.
이하, 본 발명의 실시예들이 적용되는 장치 및 다양한 방법들에 대하여 도면을 참조하여 보다 상세하게 설명한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.Hereinafter, an apparatus and various methods to which embodiments of the present invention are applied will be described in more detail with reference to the drawings. The suffixes "module" and "unit" for components used in the following description are given or used interchangeably in consideration of only the ease of preparation of the specification, and do not have meanings or roles that are distinguished from each other by themselves.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.In the above, even if all the constituent elements constituting the embodiments of the present invention have been described as being combined into one or operating in combination, the present invention is not necessarily limited to these embodiments. That is, within the scope of the object of the present invention, all of the constituent elements may be selectively combined and operated in one or more. In addition, although all of the components may be implemented as one independent hardware, a program module that performs some or all functions combined in one or more hardware by selectively combining some or all of the components. It may be implemented as a computer program having Codes and code segments constituting the computer program may be easily inferred by those skilled in the art. Such a computer program is stored in a computer-readable storage medium, and is read and executed by a computer, thereby implementing an embodiment of the present invention. The storage medium of the computer program may include a magnetic recording medium, an optical recording medium, a carrier wave medium, and the like.
실시예의 설명에 있어서, 각 구성 요소의 " 상(위) 또는 하(아래)", “전(앞) 또는 후(뒤)”에 형성되는 것으로 기재되는 경우에 있어, “상(위) 또는 하(아래)” 및“전(앞) 또는 후(뒤)”는 두 개의 구성 요소들이 서로 직접 접촉되거나 하나 이상의 또 다른 구성 요소가 두 개의 구성 요소들 사이에 배치되어 형성되는 것을 모두 포함한다.In the description of the embodiment, in the case of being described as being formed in "top (top) or bottom (bottom)", "before (front) or after (back)" of each component, "top (top) or bottom (Below)” and “before (front) or after (back)” include both components formed by direct contact with each other or one or more other components disposed between the two components.
또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥 상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.In addition, the terms such as "include", "consist of" or "have" described above mean that the corresponding component may be embedded unless otherwise stated, excluding other components It should not be construed as being able to further include other components. All terms, including technical or scientific terms, unless otherwise defined, have the same meaning as commonly understood by one of ordinary skill in the art to which the present invention belongs. Terms generally used, such as terms defined in the dictionary, should be interpreted as being consistent with the meaning in the context of the related technology, and are not interpreted as ideal or excessively formal meanings unless explicitly defined in the present invention.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성 요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성 요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.In addition, in describing the constituent elements of the present invention, terms such as first, second, A, B, (a), (b) may be used. These terms are only used to distinguish the component from other components, and the nature, order, or order of the component is not limited by the term. When a component is described as being "connected", "coupled" or "connected" to another component, that component may be directly connected or connected to that other component, but another component between each component It should be understood that elements may be “connected”, “coupled” or “connected”.
그리고 본 발명을 설명함에 있어서 관련된 공지기술에 대하여 이 분야의 기술자에게 자명한 사항으로서 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.In addition, in describing the present invention, if it is determined that the subject matter of the present invention may be unnecessarily obscured as matters apparent to those skilled in the art with respect to related known technologies, detailed descriptions thereof will be omitted.
도 1은 본 발명에 따른 증강 현실 서비스 제공 장치를 설명하기 위한 블럭 구성도이다.1 is a block diagram illustrating an augmented reality service providing apparatus according to the present invention.
도 1에 도시된 바와 같이, 본 발명은, 현실 영상을 획득하는 카메라부(100), 현실 영상에 표시하고자 하는 가상 컨텐츠를 저장하는 저장부(200), 현실 영상 내에 가상 컨텐츠를 표시하는 디스플레이부(300), 그리고 카메라부(100), 저장부(200) 및 디스플레이부(300)를 제어하는 제어부(400)를 포함할 수 있다.As shown in FIG. 1, the present invention provides a
여기서, 제어부(400)는, 증강 현실 서비스 요청을 수신하면 현실 영상에 표시하고자 하는 가상 컨텐츠의 속성을 분석하고, 현실 영상 내에 가상 컨텐츠의 속성에 상응하는 객체가 존재하는지를 확인하며, 가상 컨텐츠의 속성에 상응하는 객체가 존재하면 객체에 상응하는 스켈레톤 데이터를 토대로 현실 영상 내에서의 객체 크기 및 비율을 산출하고, 산출된 객체 크기 및 비율을 토대로 가상 컨텐츠의 크기 및 비율을 조정하며, 크기 및 비율이 조정된 가상 컨텐츠를 현실 영상 내에 표시하도록 디스플레이부(300)를 제어할 수 있다.Here, when receiving a request for an augmented reality service, the
또한, 제어부(400)는, 가상 컨텐츠의 속성을 분석할 때, 증강 현실 서비스 요청을 수신하면 현실 영상에 표시하고자 하는 가상 컨텐츠를 저장부(200)로부터 추출하고, 추출된 가상 컨텐츠의 속성을 분석할 수 있다.In addition, when analyzing the properties of the virtual content, the
일 예로, 저장부(200)로 추출되는 가상 컨텐츠는, 사람, 동물, 식물, 물체, 건물 중 적어도 어느 하나일 수 있지만, 이에 한정되는 것은 아니다.As an example, the virtual content extracted to the
여기서, 실시예는, 가상 컨텐츠의 속성을 분석할 때, 증강 현실 장치에서 자동으로 가상 컨텐츠를 추출하여 가상 컨텐츠의 속성을 분석하는 실시예이다.Here, in the embodiment, when analyzing the property of the virtual content, the augmented reality device automatically extracts the virtual content to analyze the property of the virtual content.
경우에 따라, 제어부(400)는, 가상 컨텐츠의 속성을 분석할 때, 증강 현실 서비스 요청을 수신하면 현실 영상에 표시하고자 하는 가상 컨텐츠 목록을 표시하도록 디스플레부(300)를 제어하고, 가상 컨텐츠 목록으로부터 적어도 하나의 가상 컨텐츠가 선택되면 선택된 가상 컨텐츠를 저장부(200)로부터 추출하며, 추출된 가상 컨텐츠의 속성을 분석할 수도 있다.In some cases, the
일 예로, 가상 컨텐츠 목록에 포함되는 가상 컨텐츠는, 사람, 동물, 식물, 물체, 건물 중 적어도 어느 하나일 수 있지만, 이에 한정되는 것은 아니다.As an example, the virtual content included in the virtual content list may be at least one of people, animals, plants, objects, and buildings, but is not limited thereto.
여기서, 실시예는, 가상 컨텐츠의 속성을 분석할 때, 가상 컨텐츠 목록을 통해 사용자가 원하는 가상 컨텐츠를 직접 선택하면 선택한 가상 컨텐츠의 속성을 분석하는 실시예이다.Here, in the embodiment, when analyzing the attribute of the virtual content, if the user directly selects the desired virtual content through the virtual content list, the attribute of the selected virtual content is analyzed.
또한, 제어부(400)는, 현실 영상 내에 가상 컨텐츠의 속성에 상응하는 객체가 존재하는지를 확인할 때, 현실 영상이 획득되는지를 확인하고, 현실 영상이 획득되면 현실 영상 내에 존재하는 모든 객체의 속성을 분석하며, 분석된 객체들 중 가상 컨텐츠의 속성과 동일한 속성을 갖는 객체가 존재하는지를 확인할 수 있다.In addition, when checking whether an object corresponding to the attribute of the virtual content exists in the real image, the
여기서, 제어부(400)는, 가상 컨텐츠의 속성과 동일한 속성을 갖는 객체가 존재하는지를 확인할 때, 가상 컨텐츠의 속성과 동일한 속성을 갖는 객체가 한 개이면 상응하는 객체의 크기 및 비율을 산출할 수 있다.Here, when checking whether an object having the same attribute as the attribute of the virtual content exists, the
경우에 따라, 제어부(400)는, 가상 컨텐츠의 속성과 동일한 속성을 갖는 객체가 존재하는지를 확인할 때, 가상 컨텐츠의 속성과 동일한 속성을 갖는 객체가 다수 개이면 사용자에 의해 선택된 객체의 크기 및 비율을 산출할 수도 있다.In some cases, when checking whether an object having the same attribute as the attribute of the virtual content exists, the
여기서, 실시예는, 가상 컨텐츠의 속성과 동일한 속성을 갖는 객체가 다수 개일 때, 사용자가 직접 선택하는 실시예이다.Here, in the embodiment, when there are a plurality of objects having the same property as the property of the virtual content, the user directly selects it.
즉, 제어부(400)는, 가상 컨텐츠의 속성과 동일한 속성을 갖는 객체가 다수 개이면 가상 컨텐츠의 속성과 동일한 속성을 갖는 객체들이 현실 영상 내에서 다른 객체들과 구별되어 표시되도록 디스플레이부(300)를 제어하고, 다수의 객체들 중 어느 하나가 사용자에 의해 선택되는지를 확인하며, 사용자가 하나의 객체를 선택하면 선택된 객체의 크기 및 비율을 산출할 수 있다.That is, when there are a plurality of objects having the same property as the property of the virtual content, the
일 예로, 제어부(400)는, 디스플레이부(300)를 제어할 때, 가상 컨텐츠의 속성과 동일한 속성을 갖는 객체들을 하이라이트하여 현실 영상 내에서 다른 객체들과 구별되어 표시되도록 디스플레이부(300)를 제어할 수 있다.For example, when controlling the
다른 일 예로, 제어부(400)는, 디스플레이부(300)를 제어할 때, 가상 컨텐츠의 속성과 동일한 속성을 갖는 객체들의 컬러, 밝기, 테두리, 점멸 표시 중 적어도 어느 하나가 현실 영상 내에서 다른 객체들과 구별되어 표시되도록 디스플레이부(300)를 제어할 수도 있다.As another example, when controlling the
다른 경우로서, 제어부(400)는, 가상 컨텐츠의 속성과 동일한 속성을 갖는 객체가 존재하는지를 확인할 때, 가상 컨텐츠의 속성과 동일한 속성을 갖는 객체가 다수 개이면 객체의 깊이 정보를 이용하여 다수의 객체들 중 깊이감이 가장 작은 객체를 디폴트로 선택하고, 선택된 객체의 크기 및 비율을 산출할 수 있다.In another case, when checking whether an object having the same attribute as the attribute of the virtual content exists, the
여기서, 실시예는, 가상 컨텐츠의 속성과 동일한 속성을 갖는 객체가 다수 개일 때, 증강 현실 장치에서 자동으로 객체를 선택하여 증강 현실 서비스를 제공하는 실시예이다.Here, the embodiment is an embodiment of providing an augmented reality service by automatically selecting an object in the augmented reality device when there are a plurality of objects having the same property as the property of the virtual content.
일 예로, 다수의 객체들 중 깊이감이 가장 작은 객체는, 다수의 객체들 중 가장 큰 크기를 갖는 객체일 수 있지만, 이에 한정되는 것은 아니다.For example, an object having the smallest sense of depth among a plurality of objects may be an object having the largest size among a plurality of objects, but is not limited thereto.
다음, 제어부(400)는, 가상 컨텐츠의 속성에 상응하는 객체가 존재하는지를 확인할 때, 가상 컨텐츠의 속성에 상응하는 객체가 존재하지 않으면 현실 영상 내의 객체들 중 특정 객체를 선정하고, 특정 객체에 상응하는 스켈레톤 데이터를 토대로 현실 영상 내에서의 특정 객체 크기 및 비율을 산출하며, 산출된 객체 크기 및 비율을 토대로 가상 컨텐츠의 크기 및 비율을 조정할 수 있다.Next, when checking whether an object corresponding to the property of the virtual content exists, the
여기서, 제어부(400)는, 특정 객체를 선정할 때, 현실 영상 내의 객체들 중 깊이감이 가장 작은 특정 객체, 크기가 가장 큰 특정 객체, 중앙 영역에 위치하는 특정 객체 중 어느 하나의 특정 객체를 선정할 수 있다.Here, when selecting a specific object, the
일 예로, 제어부(400)는, 특정 객체를 선정할 때, 현실 영상 내의 객체들 중 사람 속성을 갖는 특정 객체를 선정할 수 있다.As an example, when selecting a specific object, the
이어, 제어부(400)는, 현실 영상 내에서의 특정 객체 크기 및 비율을 산출할 때, 특정 객체에 상응하는 스켈레톤 데이터를 생성하고, 생성된 스켈레톤 데이터를 토대로 현실 영상 내의 특정 객체 크기와 비율을 산출할 수 있다.Then, when calculating the size and ratio of a specific object in the real image, the
일 예로, 제어부(400)는, 스켈레톤 데이터를 생성할 때, 특정 객체의 깊이 정보를 토대로 조인트(joint) 정보를 생성하고, 생성된 조인트 정보를 토대로 각 조인트를 연결하여 특정 객체에 대한 스켈레톤 데이터를 생성할 수 있다.As an example, when generating skeleton data, the
다른 일 예로, 제어부(400)는, 스켈레톤 데이터를 생성할 때, 생성된 조인트 정보에 대한 신뢰도를 산출하고, 수신된 조인트 정보 중 기준값보다 더 낮은 신뢰도를 갖는 조인트 정보를 수집하며, 수집된 조인트 정보에 대한 예측값을 산출하여 조인트 위치를 추정하고, 신뢰도 낮은 조인트 정보에 대한 조인트 위치 추정값과 신뢰도가 높은 조인트 정보에 대한 조인트 위치를 토대로 스켈레톤을 생성할 수 있다.As another example, when generating skeleton data, the
그리고, 제어부(400)는, 가상 컨텐츠의 크기 및 비율을 조정할 때, 현실 영상 내의 특정 객체에 대한 크기 및 비율을 토대로 특정 객체에 대한 가상 컨텐츠의 상대적인 크기 및 비율을 산출하고, 산출된 가상 컨텐츠의 상대적인 크기 및 비율을 토대로 가상 컨텐츠의 크기 및 비율을 조정할 수 있다.In addition, when adjusting the size and ratio of the virtual content, the
예를 들면, 현실 영상에 표시하고자 하는 가상 컨텐츠가 애완견일 경우, 현실 영상 내에 애완견과 같이 동물 속성을 가진 객체가 없다면, 본 발명은, 일 예로 사람 속성과 같이 다른 속성을 갖는 특정 객체를 선정하고, 현실 영상 내의 특정 객체인 사람에 대한 크기 및 비율을 토대로 특정 객체인 사람에 대한 가상 컨텐츠인 애완견의 상대적인 크기 및 비율을 산출한 다음, 산출된 애완견의 상대적인 크기 및 비율을 토대로 가상 컨텐츠인 애완견의 크기 및 비율을 사람보다 더 작게 조정함으로써, 현실에서와 같이, 가상 컨텐츠와 현실 영상 내의 객체에 대한 속성이 서로 다르더라도, 가상 컨텐츠인 애완견의 크기를 줄여 현실 영상 내에 표시하면 현실 영상 내의 사람 주변에 애완견이 자연스럽게 표시될 수 있다.For example, when the virtual content to be displayed in the real image is a pet dog, if there is no object having an animal attribute such as a pet dog in the real image, the present invention selects a specific object having other attributes, such as a human attribute, and , Calculate the relative size and ratio of the pet dog, which is the virtual content for the person, which is a specific object, based on the size and ratio of the person who is a specific object in the real image, and then calculate the relative size and ratio of the pet dog, which is the virtual content, By adjusting the size and ratio to be smaller than that of a person, even if the attributes of the virtual content and the object in the real image are different, as in reality, if the size of the pet dog, which is the virtual content, is reduced and displayed in the real image, Dogs can be displayed naturally.
한편, 제어부(400)는, 객체에 상응하는 스켈레톤 데이터를 토대로 현실 영상 내에서의 객체 크기 및 비율을 산출할 때, 가상 컨텐츠의 속성에 상응하는 객체가 존재하면 객체에 상응하는 스켈레톤 데이터를 생성하고, 생성된 스켈레톤 데이터를 토대로 현실 영상 내의 객체 크기와 비율을 산출할 수 있다.On the other hand, when calculating the size and ratio of the object in the real image based on the skeleton data corresponding to the object, the
일 예로, 제어부(400)는, 스켈레톤 데이터를 생성할 때, 객체의 깊이 정보를 토대로 조인트(joint) 정보를 생성하고, 생성된 조인트 정보를 토대로 각 조인트를 연결하여 객체에 대한 스켈레톤 데이터를 생성할 수 있다.For example, when generating skeleton data, the
다른 일 예로, 제어부(400)는, 스켈레톤 데이터를 생성할 때, 생성된 조인트 정보에 대한 신뢰도를 산출하고, 수신된 조인트 정보 중 기준값보다 더 낮은 신뢰도를 갖는 조인트 정보를 수집하며, 수집된 조인트 정보에 대한 예측값을 산출하여 조인트 위치를 추정하고, 신뢰도 낮은 조인트 정보에 대한 조인트 위치 추정값과 신뢰도가 높은 조인트 정보에 대한 조인트 위치를 토대로 스켈레톤을 생성할 수 있다.As another example, when generating skeleton data, the
그리고, 제어부(400)는, 산출된 객체 크기 및 비율을 토대로 가상 컨텐츠의 크기 및 비율을 조정할 때, 현실 영상 내의 객체에 대한 크기 및 비율을 토대로 가상 컨텐츠의 크기 및 비율을 산출하고, 산출된 가상 컨텐츠의 크기 및 비율을 토대로 가상 컨텐츠의 크기 및 비율을 조정할 수 있다.And, when adjusting the size and ratio of the virtual content based on the calculated object size and ratio, the
여기서, 제어부(400)는, 가상 컨텐츠의 크기 및 비율을 조정할 때, 현실 영상 내의 객체와 동일한 크기 및 비율로 가상 컨텐츠의 크기 및 비율을 조정할 수 있다.Here, when adjusting the size and ratio of the virtual content, the
예를 들면, 현실 영상에 표시하고자 하는 가상 컨텐츠가 사람일 경우, 현실 영상 내에 사람 속성을 가진 객체가 존재한다면, 본 발명은, 현실 영상 내의 객체인 사람에 대한 크기 및 비율을 토대로 가상 컨텐츠인 사람의 크기 및 비율을 산출한 다음, 가상 컨텐츠인 사람의 크기 및 비율을 현실 영상 내의 객체와 동일하게 조정함으로써, 현실에서와 같은 크기로 가상 컨텐츠인 사람의 크기를 조정하여 현실 영상 내에 표시하면 현실 영상 내의 사람 주변에 가상 컨텐츠가 자연스럽게 표시될 수 있다.For example, if the virtual content to be displayed in a real image is a person, if an object having a human attribute exists in the real image, the present invention provides a person who is a virtual content based on the size and ratio of the person who is an object in the real image. After calculating the size and ratio of the virtual content, the size and ratio of the person, which is virtual content, are adjusted to be the same as the object in the real image, so that if the size of the person, which is virtual content, is adjusted to the same size as in reality and displayed in the real image Virtual content can be naturally displayed around the person inside.
다음, 제어부(400)는, 크기 및 비율이 조정된 가상 컨텐츠를 현실 영상 내에 표시할 때, 가상 컨텐츠의 크기 및 비율이 조정되면 현실 영상에서 가상 컨텐츠의 표시 위치를 선정하고, 선정된 가상 컨텐츠의 표시 위치를 토대로 가상 컨텐츠를 현실 영상 내에 표시하도록 디스플레이부(300)를 제어할 수 있다.Next, when displaying the virtual content whose size and ratio are adjusted in the real image, the
경우에 따라, 제어부(400)는, 가상 컨텐츠의 표시 위치를 선정할 때, 가상 컨텐츠의 크기 및 비율이 조정되면 사용자에 의해 현실 영상 내에서 가상 컨텐츠의 표시 위치가 선정될 수 있다.In some cases, when selecting the display position of the virtual content, the
여기서, 실시예는, 가상 컨텐츠의 표시 위치로 선정할 때, 가상 컨텐츠의 표시 위치를 사용자가 직접 선정하는 실시예이다.Here, the embodiment is an embodiment in which the user directly selects the display position of the virtual content when selecting the display position of the virtual content.
즉, 제어부(400)는, 가상 컨텐츠의 크기 및 비율이 조정되면 가상 컨텐츠가 표시될 다수의 영역들이 현실 영상 내의 다른 영역들과 구별되어 표시되도록 디스플레이부(300)를 제어하고, 가상 컨텐츠가 표시될 다수의 영역들 중 어느 하나가 사용자에 의해 선택되는지를 확인하며, 사용자가 하나의 영역을 선택하면 선택된 영역을 가상 컨텐츠의 표시 위치로 선정할 수 있다.That is, when the size and ratio of the virtual content is adjusted, the
여기서, 일 실시예로, 제어부(400)는, 디스플레이부(300)를 제어할 때, 가상 컨텐츠가 표시될 다수의 영역들을 하이라이트하여 현실 영상 내에서 다른 영역들과 구별되어 표시되도록 디스플레이부(300)를 제어할 수 있다.Here, as an embodiment, when controlling the
다른 실시예로, 제어부(400)는, 디스플레이부(300)를 제어할 때, 가상 컨텐츠가 표시될 다수의 영역들의 컬러, 밝기, 테두리, 점멸 표시 중 적어도 어느 하나가 현실 영상 내에서 다른 영역들과 구별되어 표시되도록 디스플레이부(300)를 제어할 수 있다.In another embodiment, when the
다른 경우로서, 제어부(400)는, 가상 컨텐츠의 표시 위치를 선정할 때, 가상 컨텐츠의 크기 및 비율이 조정되면 객체의 깊이 정보를 이용하여 다수의 객체들 중 깊이감이 가장 작은 객체를 디폴트로 선택하고, 선택된 객체의 주변 영역을 가상 컨텐츠의 표시 위치로 선정할 수 있다.In another case, when selecting the display position of the virtual content, the
여기서, 실시예는, 가상 컨텐츠의 표시 위치로 선정할 때, 증강 현실 장치에서 자동으로 가상 컨텐츠의 표시 위치를 선정하여 증강 현실 서비스를 제공하는 실시예이다.Here, in the embodiment, when selecting a display location of virtual content, an augmented reality device automatically selects a display location of virtual content to provide an augmented reality service.
일 예로, 다수의 객체들 중 깊이감이 가장 작은 객체는, 다수의 객체들 중 가장 큰 크기를 갖는 객체일 수 있지만, 이에 한정되지는 않는다.For example, an object having the smallest sense of depth among the plurality of objects may be an object having the largest size among the plurality of objects, but is not limited thereto.
또 다른 경우로서, 제어부(400)는, 가상 컨텐츠의 표시 위치를 선정할 때, 가상 컨텐츠의 크기 및 비율이 조정되면 객체의 깊이 정보를 이용하여 다수의 객체들 중 깊이감이 가장 작은 특정 객체, 크기가 가장 큰 특정 객체, 중앙 영역에 위치하는 특정 객체 중 어느 하나의 특정 객체를 디폴트로 선택하고, 선택된 객체의 주변 영역을 가상 컨텐츠의 표시 위치로 선정할 수 있다.As another case, when selecting the display position of the virtual content, the
일 예로, 제어부(400)는, 특정 객체를 디폴트로 선택할 때, 현실 영상 내의 객체들 중 사람 속성을 갖는 특정 객체를 디폴트로 선택할 수 있지만, 이에 한정되는 아니다.For example, when selecting a specific object as a default, the
이와 같이, 본 발명은, 객체에 상응하는 스켈레톤 데이터를 토대로 현실 영상 내에서의 객체 크기 및 비율을 산출하여 이를 토대로 가상 컨텐츠의 크기 및 비율을 자동 조정함으로써, 현실 영상에 대해 이질감이 없이 자연스러운 가상 컨텐츠를 표시할 수 있다.As described above, the present invention calculates the size and ratio of the object in the real image based on the skeleton data corresponding to the object, and automatically adjusts the size and ratio of the virtual content based on this, so that natural virtual content without a sense of heterogeneity in the real image Can be displayed.
또한, 본 명세서에서 설명되는 증강 현실 서비스 제공 장치는, 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device, 예를 들어, 워치형 단말기 (smartwatch), 글래스형 단말기 (smart glass), HMD(head mounted display)) 등이 포함되는 이동 단말기에 적용될 수 있다.In addition, the augmented reality service providing apparatus described in the present specification includes a mobile phone, a smart phone, a laptop computer, a digital broadcasting terminal, a personal digital assistants (PDA), a portable multimedia player (PMP), a navigation system, Slate PC, tablet PC, ultrabook, wearable device (e.g., smartwatch, smart glass), head mounted display (HMD) )) and the like can be applied to a mobile terminal.
그러나, 본 명세서에 기재된 실시 예에 따른 구성은 이동 단말기에만 적용 가능한 경우를 제외하면, 디지털 TV, 데스크탑 컴퓨터, 디지털 사이니지 등과 같은 고정 단말기에도 적용될 수도 있음을 본 기술분야의 당업자라면 쉽게 알 수 있을 것이다.However, it will be readily apparent to those skilled in the art that the configuration according to the embodiment described in the present specification may also be applied to fixed terminals such as digital TVs, desktop computers, and digital signage, except when applicable only to mobile terminals. will be.
도 2는 도 1의 제어부를 상세히 설명하기 위한 블럭 구성도이다.FIG. 2 is a block diagram illustrating the control unit of FIG. 1 in detail.
도 2에 도시된 바와 같이, 제어부(400)는, 현실 영상에 표시하고자 하는 가상 컨텐츠의 속성을 분석하는 가상 컨텐츠 속성 분석부(410), 현실 영상 내의 객체 속성을 분석하는 객체 속성 분석부(420), 현실 영상 내에서의 객체 크기 및 비율을 산출하는 객체 크기 및 비율 산출부(430), 가상 컨텐츠의 크기 및 비율을 조정하는 가상 컨텐츠 크기 및 비율 조정부(440), 그리고 이들을 제어하는 증강 현실 제어부(450)를 포함할 수 있다.As shown in FIG. 2, the
여기서, 증강 현실 제어부(450)는, 증강 현실 서비스 요청을 수신하면 현실 영상에 표시하고자 하는 가상 컨텐츠의 속성을 분석하도록 가상 컨텐츠 속성 분석부(410)를 제어하고, 현실 영상을 획득하면 현실 영상 내의 객체 속성을 분석하도록 객체 속성 분석부(420)를 제어하며, 현실 영상 내에 가상 컨텐츠의 속성에 상응하는 객체가 존재하는지를 확인하고, 가상 컨텐츠의 속성에 상응하는 객체가 존재하면 객체에 상응하는 스켈레톤 데이터를 토대로 현실 영상 내에서의 객체 크기 및 비율을 산출하도록 객체 크기 및 비율 산출부(430)를 제어하며, 산출된 객체 크기 및 비율을 토대로 가상 컨텐츠의 크기 및 비율을 조정하도록 가상 컨텐츠 크기 및 비율 조정부(440)를 제어할 수 있다.Here, the augmented
가상 컨텐츠 속성 분석부(410)는, 가상 컨텐츠의 속성을 분석할 때, 증강 현실 서비스 요청을 수신하면 현실 영상에 표시하고자 하는 가상 컨텐츠를 저장부(200)로부터 추출하고, 추출된 가상 컨텐츠의 속성을 분석할 수 있다.When analyzing an attribute of the virtual content, the virtual content
경우에 따라, 가상 컨텐츠 속성 분석부(410), 가상 컨텐츠의 속성을 분석할 때, 증강 현실 서비스 요청을 수신하면 현실 영상에 표시하고자 하는 가상 컨텐츠 목록을 표시하도록 디스플레부를 제어하고, 가상 컨텐츠 목록으로부터 적어도 하나의 가상 컨텐츠가 선택되면 선택된 가상 컨텐츠를 저장부로부터 추출하며, 추출된 가상 컨텐츠의 속성을 분석할 수도 있다.In some cases, when the virtual content
그리고, 증강 현실 제어부(450)는, 현실 영상 내에 가상 컨텐츠의 속성에 상응하는 객체가 존재하는지를 확인할 때, 현실 영상이 획득되는지를 확인하고, 현실 영상이 획득되면 객체 속성 분석부(420)로부터 분석된 모든 객체들 중 가상 컨텐츠의 속성과 동일한 속성을 갖는 객체가 존재하는지를 확인할 수 있다.And, the augmented
여기서, 증강 현실 제어부(450)는, 가상 컨텐츠의 속성과 동일한 속성을 갖는 객체가 존재하는지를 확인할 때, 가상 컨텐츠의 속성과 동일한 속성을 갖는 객체가 한 개이면 상응하는 객체의 크기 및 비율을 산출할 수 있다.Here, when checking whether an object having the same property as the property of the virtual content exists, the
경우에 따라, 증강 현실 제어부(450)는, 가상 컨텐츠의 속성과 동일한 속성을 갖는 객체가 존재하는지를 확인할 때, 가상 컨텐츠의 속성과 동일한 속성을 갖는 객체가 다수 개이면 사용자에 의해 선택된 객체의 크기 및 비율을 산출할 수도 있다.In some cases, when checking whether an object having the same property as the property of the virtual content exists, the augmented
다른 경우로서, 증강 현실 제어부(450)는, 가상 컨텐츠의 속성과 동일한 속성을 갖는 객체가 존재하는지를 확인할 때, 가상 컨텐츠의 속성과 동일한 속성을 갖는 객체가 다수 개이면 객체의 깊이 정보를 이용하여 다수의 객체들 중 깊이감이 가장 작은 객체를 디폴트로 선택하고, 선택된 객체의 크기 및 비율을 산출할 수 있다.As another case, when checking whether an object having the same attribute as the attribute of the virtual content exists, the augmented
다음, 증강 현실 제어부(450)는, 가상 컨텐츠의 속성에 상응하는 객체가 존재하는지를 확인할 때, 가상 컨텐츠의 속성에 상응하는 객체가 존재하지 않으면 현실 영상 내의 객체들 중 특정 객체를 선정하고, 특정 객체에 상응하는 스켈레톤 데이터를 토대로 현실 영상 내에서의 특정 객체 크기 및 비율을 산출하며, 산출된 객체 크기 및 비율을 토대로 가상 컨텐츠의 크기 및 비율을 조정할 수 있다.Next, when checking whether an object corresponding to the property of the virtual content exists, the augmented
이어, 객체 크기 및 비율 산출부(430)는, 객체에 상응하는 스켈레톤 데이터를 토대로 현실 영상 내에서의 객체 크기 및 비율을 산출할 때, 가상 컨텐츠의 속성에 상응하는 객체가 존재하면 객체에 상응하는 스켈레톤 데이터를 생성하고, 생성된 스켈레톤 데이터를 토대로 현실 영상 내의 객체 크기와 비율을 산출할 수 있다.Next, when calculating the size and ratio of the object in the real image based on the skeleton data corresponding to the object, the object size and
그리고, 가상 컨텐츠 크기 및 비율 조정부(440)는, 산출된 객체 크기 및 비율을 토대로 가상 컨텐츠의 크기 및 비율을 조정할 때, 현실 영상 내의 객체에 대한 크기 및 비율을 토대로 가상 컨텐츠의 크기 및 비율을 산출하고, 산출된 가상 컨텐츠의 크기 및 비율을 토대로 가상 컨텐츠의 크기 및 비율을 조정할 수 있다.And, when adjusting the size and ratio of the virtual content based on the calculated object size and ratio, the virtual content size and
다음, 증강 현실 제어부(450)는, 크기 및 비율이 조정된 가상 컨텐츠를 현실 영상 내에 표시할 때, 가상 컨텐츠의 크기 및 비율이 조정되면 현실 영상에서 가상 컨텐츠의 표시 위치를 선정하고, 선정된 가상 컨텐츠의 표시 위치를 토대로 가상 컨텐츠를 현실 영상 내에 표시하도록 디스플레이부를 제어할 수 있다.Next, the
여기서, 증강 현실 제어부(450)는, 가상 컨텐츠의 표시 위치를 선정할 때, 가상 컨텐츠의 크기 및 비율이 조정되면 사용자에 의해 현실 영상 내에서 가상 컨텐츠의 표시 위치가 선정될 수 있다.Here, when the augmented
다른 경우로서, 증강 현실 제어부(450)는, 가상 컨텐츠의 표시 위치를 선정할 때, 가상 컨텐츠의 크기 및 비율이 조정되면 객체의 깊이 정보를 이용하여 다수의 객체들 중 깊이감이 가장 작은 객체를 디폴트로 선택하고, 선택된 객체의 주변 영역을 가상 컨텐츠의 표시 위치로 선정할 수도 있다.As another case, when selecting the display position of the virtual content, the augmented
또 다른 경우로서, 증강 현실 제어부(450)는, 가상 컨텐츠의 표시 위치를 선정할 때, 가상 컨텐츠의 크기 및 비율이 조정되면 객체의 깊이 정보를 이용하여 다수의 객체들 중 깊이감이 가장 작은 특정 객체, 크기가 가장 큰 특정 객체, 중앙 영역에 위치하는 특정 객체 중 어느 하나의 특정 객체를 디폴트로 선택하고, 선택된 객체의 주변 영역을 가상 컨텐츠의 표시 위치로 선정할 수도 있다.As another case, when selecting the display position of the virtual content, the augmented
도 3은 현실 영상 내에 가상 컨텐츠가 부자연스럽게 표시된 예를 설명하기 위한 도면이고, 도 4는 현실 영상 내에 가상 컨텐츠가 자연스럽게 표시된 예를 설명하기 위한 도면이다.3 is a diagram for explaining an example in which virtual content is unnaturally displayed in a real image, and FIG. 4 is a diagram for explaining an example in which virtual content is naturally displayed in a real image.
본 발명은, 객체에 상응하는 스켈레톤 데이터를 토대로 현실 영상 내에서의 객체 크기 및 비율을 산출하여 이를 토대로 가상 컨텐츠의 크기 및 비율을 자동 조정함으로써, 현실 영상에 대해 이질감이 없이 자연스러운 가상 컨텐츠를 표시할 수 있다.The present invention calculates the size and ratio of the object in the real image based on the skeleton data corresponding to the object, and automatically adjusts the size and ratio of the virtual content based on this, thereby displaying natural virtual content without a sense of heterogeneity in the real image. I can.
도 3에 도시된 바와 같이, 가상 컨텐츠(540)가 사람인 경우, 본 발명과 같이 가상 컨텐츠의 크기 및 비율 조정 과정이 없으면 화면(510)에 표시되는 현실 영상(520) 내의 객체(530)들에 비해 가상 컨텐츠(540)의 크기 및 비율이 작아 부자연스럽게 보일 수 있다.As shown in FIG. 3, when the
이에 반해, 도 4에 도시된 바와 같이, 가상 컨텐츠(540)가 사람인 경우, 본 발명과 같이 가상 컨텐츠의 크기 및 비율 조정 과정을 거치면 화면(510)에 표시되는 현실 영상(520) 내의 객체(530)들과 동일한 크기 및 비율로 가상 컨텐츠(540)가 조정되어 매우 자연스럽게 보일 수 있다.On the other hand, as shown in FIG. 4, when the
따라서, 본 발명은, 현실 영상에 대해 이질감이 없이 자연스러운 가상 컨텐츠를 표시할 수 있다.Accordingly, the present invention can display natural virtual content without a sense of heterogeneity with respect to a real image.
도 5는 현실 영상 내에 가상 컨텐츠를 표시하는 과정을 설명하기 위한 도면이다.5 is a diagram for describing a process of displaying virtual content in a real image.
도 5에 도시된 바와 같이, 본 발명은, 증강 현실 서비스 요청을 수신하면 현실 영상에 표시하고자 하는 가상 컨텐츠(540)의 속성을 분석한다.As shown in FIG. 5, the present invention analyzes the properties of the
이어, 분석 결과, 가상 컨텐츠(540)의 속성이 사람이면, 본 발명은, 화면(510)에 표시되는 현실 영상(520) 내에 가상 컨텐츠의 속성에 상응하는 객체(530)가 존재하는지를 확인한다.Subsequently, as a result of the analysis, if the attribute of the
다음, 본 발명은, 가상 컨텐츠의 속성에 상응하는 객체(530)가 존재하면 객체(530)에 상응하는 스켈레톤 데이터(550)를 생성하고, 생성된 스켈레톤 데이터(550)를 토대로 현실 영상(520) 내의 객체(530) 크기와 비율을 산출할 수 있다.Next, the present invention generates
일 예로, 본 발명은, 스켈레톤 데이터(550)를 생성할 때, 객체(530)의 깊이 정보를 토대로 조인트(joint) 정보를 생성하고, 생성된 조인트 정보를 토대로 각 조인트를 연결하여 객체에 대한 스켈레톤 데이터(550)를 생성할 수 있다.As an example, in the present invention, when generating the
다른 일 예로, 본 발명은, 스켈레톤 데이터(550)를 생성할 때, 생성된 조인트 정보에 대한 신뢰도를 산출하고, 수신된 조인트 정보 중 기준값보다 더 낮은 신뢰도를 갖는 조인트 정보를 수집하며, 수집된 조인트 정보에 대한 예측값을 산출하여 조인트 위치를 추정하고, 신뢰도 낮은 조인트 정보에 대한 조인트 위치 추정값과 신뢰도가 높은 조인트 정보에 대한 조인트 위치를 토대로 스켈레톤을 생성할 수 있다.As another example, the present invention, when generating the
그리고, 본 발명은, 산출된 객체 크기 및 비율을 토대로 가상 컨텐츠(540)의 크기 및 비율을 조정할 수 있다.In addition, the present invention may adjust the size and ratio of the
이어, 본 발명은, 크기 및 비율이 조정된 가상 컨텐츠(540)를 현실 영상(520) 내의 객체(530) 주변에 표시할 수 있다.Subsequently, according to the present invention, the
따라서, 본 발명은, 현실 영상(520)에 대해 이질감이 없이 자연스러운 가상 컨텐츠(540)를 표시할 수 있다.Accordingly, according to the present invention, natural
도 6은 본 발명에 따른 증강 현실 서비스 제공 방법을 설명하기 위한 흐름도이다.6 is a flowchart illustrating a method of providing an augmented reality service according to the present invention.
도 6에 도시된 바와 같이, 본 발명은, 증강 현실 서비스 요청을 수신하면(S10) 현실 영상에 표시하고자 하는 가상 컨텐츠의 속성을 분석할 수 있다(S20).As shown in FIG. 6, in the present invention, upon receiving a request for an augmented reality service (S10), an attribute of virtual content to be displayed on a real image may be analyzed (S20).
여기서, 가상 컨텐츠의 속성을 분석하는 단계(S20)는, 증강 현실 서비스 요청을 수신하면 현실 영상에 표시하고자 하는 가상 컨텐츠를 추출하는 단계, 그리고 추출된 가상 컨텐츠의 속성을 분석하는 단계를 포함할 수 있다.Here, the step of analyzing the attribute of the virtual content (S20) may include extracting the virtual content to be displayed on the real image upon receiving the request for an augmented reality service, and analyzing the attribute of the extracted virtual content. have.
경우에 따라, 가상 컨텐츠의 속성을 분석하는 단계(S20)는, 증강 현실 서비스 요청을 수신하면 현실 영상에 표시하고자 하는 가상 컨텐츠 목록을 표시하는 단계, 가상 컨텐츠 목록으로부터 적어도 하나의 가상 컨텐츠가 선택되는지를 확인하는 단계, 가상 컨텐츠 목록으로부터 적어도 하나의 가상 컨텐츠가 선택되면 선택된 가상 컨텐츠를 추출하는 단계, 그리고 추출된 가상 컨텐츠의 속성을 분석하는 단계를 포함할 수 있다.In some cases, the step of analyzing the properties of the virtual content (S20) includes displaying a list of virtual contents to be displayed on a real image upon receiving an augmented reality service request, whether at least one virtual content is selected from the virtual contents list The step of confirming, when at least one virtual content is selected from the virtual content list, extracting the selected virtual content, and analyzing an attribute of the extracted virtual content.
이어, 본 발명은, 현실 영상 내에 가상 컨텐츠의 속성에 상응하는 객체가 존재하는지를 확인할 수 있다(S30).Subsequently, according to the present invention, it may be checked whether an object corresponding to the property of the virtual content exists in the real image (S30).
여기서, 현실 영상 내에 가상 컨텐츠의 속성에 상응하는 객체가 존재하는지를 확인하는 단계(S30)는, 현실 영상이 획득되는지를 확인하는 단계, 현실 영상이 획득되면 현실 영상 내에 존재하는 모든 객체의 속성을 분석하는 단계, 그리고 분석된 객체들 중 가상 컨텐츠의 속성과 동일한 속성을 갖는 객체가 존재하는지를 확인하는 단계를 포함할 수 있다.Here, the step of checking whether an object corresponding to the attribute of the virtual content exists in the real image (S30) is the step of checking whether a real image is acquired, and when the real image is acquired, the attributes of all objects existing in the real image are analyzed. And checking whether an object having the same property as the property of the virtual content exists among the analyzed objects.
그리고, 본 발명은, 가상 컨텐츠의 속성에 상응하는 객체가 존재하면 객체에 상응하는 스켈레톤 데이터를 토대로 현실 영상 내에서의 객체 크기 및 비율을 산출할 수 있다(S40).In addition, according to the present invention, if an object corresponding to the attribute of the virtual content exists, the size and ratio of the object in the real image may be calculated based on the skeleton data corresponding to the object (S40).
여기서, 본 발명은, 가상 컨텐츠의 속성에 상응하는 객체가 존재하면 객체에 상응하는 스켈레톤 데이터를 생성하고, 생성된 스켈레톤 데이터를 토대로 현실 영상 내의 객체 크기와 비율을 산출할 수 있다.Here, the present invention may generate skeleton data corresponding to the object when an object corresponding to the property of virtual content exists, and calculate the size and ratio of the object in the real image based on the generated skeleton data.
일 예로, 본 발명은, 스켈레톤 데이터를 생성할 때, 특정 객체의 깊이 정보를 토대로 조인트(joint) 정보를 생성하고, 생성된 조인트 정보를 토대로 각 조인트를 연결하여 특정 객체에 대한 스켈레톤 데이터를 생성할 수 있다.As an example, in the present invention, when generating skeleton data, joint information is generated based on depth information of a specific object, and skeleton data for a specific object is generated by connecting each joint based on the generated joint information. I can.
다음, 본 발명은, 산출된 객체 크기 및 비율을 토대로 가상 컨텐츠의 크기 및 비율을 조정할 수 있다(S50).Next, the present invention may adjust the size and ratio of the virtual content based on the calculated object size and ratio (S50).
여기서, 본 발명은, 현실 영상 내의 객체에 대한 크기 및 비율을 토대로 가상 컨텐츠의 크기 및 비율을 산출하고, 산출된 가상 컨텐츠의 크기 및 비율을 토대로 가상 컨텐츠의 크기 및 비율을 조정할 수 있다.Here, the present invention may calculate the size and ratio of virtual content based on the size and ratio of the object in the real image, and adjust the size and ratio of the virtual content based on the calculated size and ratio of the virtual content.
이어, 본 발명은, 크기 및 비율이 조정된 가상 컨텐츠를 현실 영상 내에 표시할 수 있다(S60).Subsequently, according to the present invention, the virtual content whose size and ratio are adjusted may be displayed in the real image (S60).
여기서, 본 발명은, 가상 컨텐츠의 크기 및 비율이 조정되면 현실 영상에서 가상 컨텐츠의 표시 위치를 선정하고, 선정된 가상 컨텐츠의 표시 위치를 토대로 가상 컨텐츠를 현실 영상 내에 표시할 수 있다.Here, in the present invention, when the size and ratio of the virtual content are adjusted, a display position of the virtual content may be selected in the real image, and the virtual content may be displayed in the real image based on the display position of the selected virtual content.
그리고, 본 발명은, 증강 현실 서비스 종료인지를 확인하고(S70), 증강 현실 서비스 종료이면 증강 현실 서비스 과정을 종료할 수 있다.Then, in the present invention, it is possible to check whether the augmented reality service is ended (S70), and if the augmented reality service is ended, the augmented reality service process may be terminated.
예를 들면, 현실 영상에 표시하고자 하는 가상 컨텐츠가 사람일 경우, 현실 영상 내에 사람 속성을 가진 객체가 존재한다면, 본 발명은, 현실 영상 내의 객체인 사람에 대한 크기 및 비율을 토대로 가상 컨텐츠인 사람의 크기 및 비율을 산출한 다음, 가상 컨텐츠인 사람의 크기 및 비율을 현실 영상 내의 객체와 동일하게 조정함으로써, 현실에서와 같은 크기로 가상 컨텐츠인 사람의 크기를 조정하여 현실 영상 내에 표시하면 현실 영상 내의 사람 주변에 가상 컨텐츠가 자연스럽게 표시될 수 있다.For example, if the virtual content to be displayed in a real image is a person, if an object having a human attribute exists in the real image, the present invention provides a person who is a virtual content based on the size and ratio of the person who is an object in the real image. After calculating the size and ratio of the virtual content, the size and ratio of the person, which is virtual content, are adjusted to be the same as the object in the real image, so that if the size of the person, which is virtual content, is adjusted to the same size as in reality and displayed in the real image Virtual content can be naturally displayed around the person inside.
또한, 본 발명은, 가상 컨텐츠의 속성에 상응하는 객체가 존재하는지를 확인하는 단계(S30)에서, 가상 컨텐츠의 속성에 상응하는 객체가 존재하지 않으면 현실 영상 내의 객체들 중 특정 객체를 선정하고, 특정 객체에 상응하는 스켈레톤 데이터를 토대로 현실 영상 내에서의 특정 객체 크기 및 비율을 산출할 수 있다(S80).In addition, in the present invention, in the step (S30) of checking whether an object corresponding to the attribute of the virtual content exists, if an object corresponding to the attribute of the virtual content does not exist, a specific object is selected among objects in the real image, and A specific object size and ratio in the real image may be calculated based on the skeleton data corresponding to the object (S80).
그리고, 본 발명은, 산출된 객체 크기 및 비율을 토대로 가상 컨텐츠의 크기 및 비율을 조정할 수 있다(S90).In addition, the present invention may adjust the size and ratio of the virtual content based on the calculated object size and ratio (S90).
예를 들면, 현실 영상에 표시하고자 하는 가상 컨텐츠가 애완견일 경우, 현실 영상 내에 애완견과 같이 동물 속성을 가진 객체가 없다면, 본 발명은, 일 예로 사람 속성과 같이 다른 속성을 갖는 특정 객체를 선정하고, 현실 영상 내의 특정 객체인 사람에 대한 크기 및 비율을 토대로 특정 객체인 사람에 대한 가상 컨텐츠인 애완견의 상대적인 크기 및 비율을 산출한 다음, 산출된 애완견의 상대적인 크기 및 비율을 토대로 가상 컨텐츠인 애완견의 크기 및 비율을 사람보다 더 작게 조정함으로써, 현실에서와 같이, 가상 컨텐츠와 현실 영상 내의 객체에 대한 속성이 서로 다르더라도, 가상 컨텐츠인 애완견의 크기를 줄여 현실 영상 내에 표시하면 현실 영상 내의 사람 주변에 애완견이 자연스럽게 표시될 수 있다.For example, when the virtual content to be displayed in the real image is a pet dog, if there is no object having an animal attribute such as a pet dog in the real image, the present invention selects a specific object having other attributes, such as a human attribute, and , Calculate the relative size and ratio of the pet dog, which is the virtual content for the person, which is a specific object, based on the size and ratio of the person who is a specific object in the real image, and then calculate the relative size and ratio of the pet dog, which is the virtual content, By adjusting the size and ratio to be smaller than that of a person, even if the attributes of the virtual content and the object in the real image are different, as in reality, if the size of the pet dog, which is the virtual content, is reduced and displayed in the real image, Dogs can be displayed naturally.
이와 같이, 본 발명은, 객체에 상응하는 스켈레톤 데이터를 토대로 현실 영상 내에서의 객체 크기 및 비율을 산출하여 이를 토대로 가상 컨텐츠의 크기 및 비율을 자동 조정함으로써, 현실 영상에 대해 이질감이 없이 자연스러운 가상 컨텐츠를 표시할 수 있다.As described above, the present invention calculates the size and ratio of the object in the real image based on the skeleton data corresponding to the object, and automatically adjusts the size and ratio of the virtual content based on this, so that natural virtual content without a sense of heterogeneity in the real image Can be displayed.
여기에 설명되는 다양한 실시 예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.Various embodiments described herein may be implemented in a recording medium that can be read by a computer or a similar device using, for example, software, hardware, or a combination thereof.
하드웨어적인 구현에 의하면, 여기에 설명되는 실시예는 ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays, 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 그러한 실시 예들이 제어부(140)에 의해 구현될 수 있다.According to hardware implementation, the embodiments described herein include application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), field programmable gate arrays (FPGAs), It may be implemented using at least one of processors, controllers, micro-controllers, microprocessors, and electrical units for performing a function. It may be implemented by the control unit 140.
소프트웨어적인 구현에 의하면, 절차나 기능과 같은 실시예들은 적어도 하나의 기능 또는 작동을 수행하게 하는 별개의 소프트웨어 모듈과 함께 구현될 수 있다. 소프트웨어 코드는 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션에 의해 구현될 수 있다. 또한, 소프트웨어 코드는 메모리에 저장되고, 제어부(140)에 의해 로딩되어 실행될 수 있다.According to a software implementation, embodiments such as procedures or functions may be implemented together with separate software modules that perform at least one function or operation. The software code can be implemented by a software application written in an appropriate programming language. In addition, the software code may be stored in a memory and loaded and executed by the controller 140.
상기한 실시 예에서 정보 노출 방지 영상 제공 장치는, 하나 또는 복수의 응용 주문형 직접회로(ASIC), 디지털신호 프로세서(DSP), 디지털신호 처리기기(DSPD), 프로그램 가능 논리 소자(PLD), 필드 프로그램 가능 게이트 어레이(FPGA), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 또는 기타 전자 부품에 의해 실현될 수 있다.In the above embodiment, the information exposure prevention image providing apparatus includes one or more application-specific integrated circuits (ASIC), digital signal processor (DSP), digital signal processing device (DSPD), programmable logic device (PLD), and field program. Possible gate arrays (FPGAs), controllers, microcontrollers, microprocessors or other electronic components.
상술한 실시예에 따른 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등의 형태로 구현되는 것도 포함된다.The method according to the above-described embodiment may be produced as a program to be executed on a computer and stored in a computer-readable recording medium. Examples of computer-readable recording media include ROM, RAM, CD-ROM, and magnetic tape. , Floppy disks, optical data storage devices, etc. are also included.
컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상술한 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 실시예가 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.The computer-readable recording medium is distributed over a computer system connected by a network, and computer-readable codes can be stored and executed in a distributed manner. In addition, functional programs, codes, and code segments for implementing the above-described method can be easily inferred by programmers in the technical field to which the embodiment belongs.
본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 당업자에게 자명하다.It is obvious to those skilled in the art that the present invention can be embodied in other specific forms without departing from the spirit and essential features of the present invention.
따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.Therefore, the detailed description above should not be construed as restrictive in all respects and should be considered as illustrative. The scope of the present invention should be determined by reasonable interpretation of the appended claims, and all changes within the equivalent scope of the present invention are included in the scope of the present invention.
100: 카메라부
200: 저장부
300: 디스플레이부
400: 제어부100: camera unit
200: storage unit
300: display unit
400: control unit
Claims (38)
상기 현실 영상에 표시하고자 하는 가상 컨텐츠를 저장하는 저장부;
상기 현실 영상 내에 가상 컨텐츠를 표시하는 디스플레이부; 그리고,
상기 카메라부, 저장부 및 디스플레이부를 제어하는 제어부를 포함하고,
상기 제어부는,
증강 현실 서비스 요청을 수신하면 상기 현실 영상에 표시하고자 하는 가상 컨텐츠의 속성을 분석하고, 상기 현실 영상 내에 상기 가상 컨텐츠의 속성에 상응하는 객체가 존재하는지를 확인하며, 상기 가상 컨텐츠의 속성에 상응하는 객체가 존재하면 상기 객체에 상응하는 스켈레톤 데이터를 토대로 상기 현실 영상 내에서의 객체 크기 및 비율을 산출하고, 상기 산출된 객체 크기 및 비율을 토대로 상기 가상 컨텐츠의 크기 및 비율을 조정하며, 상기 크기 및 비율이 조정된 가상 컨텐츠를 상기 현실 영상 내에 표시하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 증강 현실 서비스 제공 장치.A camera unit for obtaining a real image;
A storage unit for storing virtual content to be displayed on the real image;
A display unit for displaying virtual content in the real image; And,
And a control unit for controlling the camera unit, the storage unit, and the display unit,
The control unit,
Upon receiving a request for an augmented reality service, analyze the attribute of the virtual content to be displayed on the real image, check whether an object corresponding to the attribute of the virtual content exists in the real image, and an object corresponding to the attribute of the virtual content If is present, the object size and ratio in the real image are calculated based on the skeleton data corresponding to the object, and the size and ratio of the virtual content are adjusted based on the calculated object size and ratio, and the size and ratio The apparatus for providing an augmented reality service, comprising controlling the display unit to display the adjusted virtual content in the real image.
상기 가상 컨텐츠의 속성을 분석할 때, 상기 증강 현실 서비스 요청을 수신하면 상기 현실 영상에 표시하고자 하는 가상 컨텐츠를 상기 저장부로부터 추출하고, 상기 추출된 가상 컨텐츠의 속성을 분석하는 것을 특징으로 하는 증강 현실 서비스 제공 장치.The method of claim 1, wherein the control unit,
When analyzing the attribute of the virtual content, upon receiving the request for the augmented reality service, extracting the virtual content to be displayed in the real image from the storage unit, and analyzing the attribute of the extracted virtual content Reality service delivery device.
상기 가상 컨텐츠의 속성을 분석할 때, 상기 증강 현실 서비스 요청을 수신하면 상기 현실 영상에 표시하고자 하는 가상 컨텐츠 목록을 표시하도록 상기 디스플레이부를 제어하고, 상기 가상 컨텐츠 목록으로부터 적어도 하나의 가상 컨텐츠가 선택되면 상기 선택된 가상 컨텐츠를 상기 저장부로부터 추출하며, 상기 추출된 가상 컨텐츠의 속성을 분석하는 것을 특징으로 하는 증강 현실 서비스 제공 장치.The method of claim 1, wherein the control unit,
When analyzing the properties of the virtual content, when receiving the augmented reality service request, the display unit is controlled to display a list of virtual content to be displayed on the real image, and when at least one virtual content is selected from the virtual content list Extracting the selected virtual content from the storage unit, and analyzing an attribute of the extracted virtual content.
상기 현실 영상 내에 상기 가상 컨텐츠의 속성에 상응하는 객체가 존재하는지를 확인할 때, 상기 현실 영상이 획득되는지를 확인하고, 상기 현실 영상이 획득되면 상기 현실 영상 내에 존재하는 모든 객체의 속성을 분석하며, 상기 분석된 객체들 중 상기 가상 컨텐츠의 속성과 동일한 속성을 갖는 객체가 존재하는지를 확인하는 것을 특징으로 하는 증강 현실 서비스 제공 장치.The method of claim 1, wherein the control unit,
When checking whether an object corresponding to the attribute of the virtual content exists in the real image, it is checked whether the real image is acquired, and when the real image is acquired, the attributes of all objects existing in the real image are analyzed, and the An apparatus for providing an augmented reality service, characterized in that it checks whether an object having the same attribute as the attribute of the virtual content exists among the analyzed objects.
상기 가상 컨텐츠의 속성과 동일한 속성을 갖는 객체가 존재하는지를 확인할 때, 상기 가상 컨텐츠의 속성과 동일한 속성을 갖는 객체가 한 개이면 상기 상응하는 객체의 크기 및 비율을 산출하는 것을 특징으로 하는 증강 현실 서비스 제공 장치.The method of claim 4, wherein the control unit,
An augmented reality service, characterized in that when checking whether an object having the same attribute as the attribute of the virtual content exists, calculating the size and ratio of the corresponding object if there is one object having the same attribute as the attribute of the virtual content Provision device.
상기 가상 컨텐츠의 속성과 동일한 속성을 갖는 객체가 존재하는지를 확인할 때, 상기 가상 컨텐츠의 속성과 동일한 속성을 갖는 객체가 다수 개이면 사용자에 의해 선택된 객체의 크기 및 비율을 산출하는 것을 특징으로 하는 증강 현실 서비스 제공 장치.The method of claim 4, wherein the control unit,
An augmented reality, characterized in that when checking whether an object having the same attribute as the attribute of the virtual content exists, calculates the size and ratio of the object selected by the user if there are multiple objects having the same attribute as the attribute of the virtual content Service provision device.
상기 가상 컨텐츠의 속성과 동일한 속성을 갖는 객체가 다수 개이면 상기 가상 컨텐츠의 속성과 동일한 속성을 갖는 객체들이 상기 현실 영상 내에서 다른 객체들과 구별되어 표시되도록 상기 디스플레이부를 제어하고, 상기 다수의 객체들 중 어느 하나가 상기 사용자에 의해 선택되는지를 확인하며, 상기 사용자가 하나의 객체를 선택하면 상기 선택된 객체의 크기 및 비율을 산출하는 것을 특징으로 하는 증강 현실 서비스 제공 장치.The method of claim 6, wherein the control unit,
When there are a plurality of objects having the same property as the property of the virtual content, the display unit controls the display so that objects having the same property as the property of the virtual content are displayed in a distinct manner from other objects in the real image, and the plurality of objects The apparatus for providing an augmented reality service, characterized in that it checks which one of them is selected by the user, and calculates the size and ratio of the selected object when the user selects one object.
상기 가상 컨텐츠의 속성과 동일한 속성을 갖는 객체가 존재하는지를 확인할 때, 상기 가상 컨텐츠의 속성과 동일한 속성을 갖는 객체가 다수 개이면 상기 객체의 깊이 정보를 이용하여 상기 다수의 객체들 중 깊이감이 가장 작은 객체를 디폴트로 선택하고, 상기 선택된 객체의 크기 및 비율을 산출하는 것을 특징으로 하는 증강 현실 서비스 제공 장치.The method of claim 4, wherein the control unit,
When checking whether an object having the same attribute as the attribute of the virtual content exists, if there are a plurality of objects having the same attribute as the attribute of the virtual content, the depth sense is the most among the plurality of objects using depth information of the object. A device for providing an augmented reality service, comprising selecting a small object as a default and calculating the size and ratio of the selected object.
상기 가상 컨텐츠의 속성에 상응하는 객체가 존재하는지를 확인할 때, 상기 가상 컨텐츠의 속성에 상응하는 객체가 존재하지 않으면 상기 현실 영상 내의 객체들 중 특정 객체를 선정하고, 상기 특정 객체에 상응하는 스켈레톤 데이터를 토대로 상기 현실 영상 내에서의 특정 객체 크기 및 비율을 산출하며, 상기 산출된 객체 크기 및 비율을 토대로 상기 가상 컨텐츠의 크기 및 비율을 조정하는 것을 특징으로 하는 증강 현실 서비스 제공 장치.The method of claim 1, wherein the control unit,
When checking whether an object corresponding to the attribute of the virtual content exists, if an object corresponding to the attribute of the virtual content does not exist, a specific object is selected from among objects in the real image, and skeleton data corresponding to the specific object is An augmented reality service providing apparatus, comprising: calculating a size and ratio of a specific object in the real image based on the calculated object size and ratio, and adjusting the size and ratio of the virtual content based on the calculated object size and ratio.
상기 특정 객체를 선정할 때, 상기 현실 영상 내의 객체들 중 깊이감이 가장 작은 특정 객체, 크기가 가장 큰 특정 객체, 중앙 영역에 위치하는 특정 객체 중 어느 하나의 특정 객체를 선정하는 것을 특징으로 하는 증강 현실 서비스 제공 장치.The method of claim 9, wherein the control unit,
When selecting the specific object, a specific object having the smallest sense of depth, a specific object having the largest size, and a specific object located in a central area among objects in the real image are selected. Device for providing augmented reality service.
상기 객체에 상응하는 스켈레톤 데이터를 토대로 상기 현실 영상 내에서의 객체 크기 및 비율을 산출할 때, 상기 가상 컨텐츠의 속성에 상응하는 객체가 존재하면 상기 객체에 상응하는 스켈레톤 데이터를 생성하고, 상기 생성된 스켈레톤 데이터를 토대로 상기 현실 영상 내의 객체 크기와 비율을 산출하는 것을 특징으로 하는 증강 현실 서비스 제공 장치.The method of claim 1, wherein the control unit,
When calculating the size and ratio of the object in the real image based on the skeleton data corresponding to the object, if an object corresponding to the property of the virtual content exists, skeleton data corresponding to the object is generated, and the generated An augmented reality service providing apparatus, characterized in that calculating the size and ratio of the object in the real image based on skeleton data.
상기 스켈레톤 데이터를 생성할 때, 상기 객체의 깊이 정보를 토대로 조인트(joint) 정보를 생성하고, 상기 생성된 조인트 정보를 토대로 각 조인트를 연결하여 상기 객체에 대한 스켈레톤 데이터를 생성하는 것을 특징으로 하는 증강 현실 서비스 제공 장치.The method of claim 11, wherein the control unit,
When generating the skeleton data, joint information is generated based on depth information of the object, and the skeleton data for the object is generated by connecting each joint based on the generated joint information. Reality service delivery device.
상기 산출된 객체 크기 및 비율을 토대로 상기 가상 컨텐츠의 크기 및 비율을 조정할 때, 상기 현실 영상 내의 객체에 대한 크기 및 비율을 토대로 상기 가상 컨텐츠의 크기 및 비율을 산출하고, 상기 산출된 가상 컨텐츠의 크기 및 비율을 토대로 상기 가상 컨텐츠의 크기 및 비율을 조정하는 것을 특징으로 하는 증강 현실 서비스 제공 장치.The method of claim 1, wherein the control unit,
When adjusting the size and ratio of the virtual content based on the calculated object size and ratio, the size and ratio of the virtual content are calculated based on the size and ratio of the object in the real image, and the calculated size of the virtual content And adjusting the size and ratio of the virtual content based on the ratio.
상기 크기 및 비율이 조정된 가상 컨텐츠를 상기 현실 영상 내에 표시할 때, 상기 가상 컨텐츠의 크기 및 비율이 조정되면 상기 현실 영상에서 상기 가상 컨텐츠의 표시 위치를 선정하고, 상기 선정된 가상 컨텐츠의 표시 위치를 토대로 상기 가상 컨텐츠를 상기 현실 영상 내에 표시하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 증강 현실 서비스 제공 장치.The method of claim 1, wherein the control unit,
When displaying the virtual content whose size and ratio are adjusted in the real image, when the size and ratio of the virtual content are adjusted, a display position of the virtual content is selected in the real image, and the display position of the selected virtual content And controlling the display unit to display the virtual content in the real image.
상기 가상 컨텐츠의 표시 위치를 선정할 때, 상기 가상 컨텐츠의 크기 및 비율이 조정되면 사용자에 의해 상기 현실 영상 내에서 상기 가상 컨텐츠의 표시 위치가 선정되는 것을 특징으로 하는 증강 현실 서비스 제공 장치.The method of claim 14, wherein the control unit,
The apparatus for providing an augmented reality service, characterized in that when selecting a display position of the virtual content, if the size and ratio of the virtual content are adjusted, the display position of the virtual content is selected by a user in the real image.
상기 가상 컨텐츠의 크기 및 비율이 조정되면 상기 가상 컨텐츠가 표시될 다수의 영역들이 상기 현실 영상 내의 다른 영역들과 구별되어 표시되도록 상기 디스플레이부를 제어하고, 상기 가상 컨텐츠가 표시될 다수의 영역들 중 어느 하나가 상기 사용자에 의해 선택되는지를 확인하며, 상기 사용자가 하나의 영역을 선택하면 상기 선택된 영역을 상기 가상 컨텐츠의 표시 위치로 선정하는 것을 특징으로 하는 증강 현실 서비스 제공 장치.The method of claim 15, wherein the control unit,
When the size and ratio of the virtual content are adjusted, the display unit is controlled so that a plurality of areas in which the virtual content is to be displayed are displayed in a manner that is differentiated from other areas in the real image, and any of a plurality of areas in which the virtual content is to be displayed It is checked whether one is selected by the user, and when the user selects one area, the selected area is selected as a display position of the virtual content.
상기 가상 컨텐츠의 표시 위치를 선정할 때, 상기 가상 컨텐츠의 크기 및 비율이 조정되면 상기 객체의 깊이 정보를 이용하여 상기 현실 영상 내의 객체들 중 깊이감이 가장 작은 객체를 디폴트로 선택하고, 상기 선택된 객체의 주변 영역을 상기 가상 컨텐츠의 표시 위치로 선정하는 것을 특징으로 하는 증강 현실 서비스 제공 장치.The method of claim 14, wherein the control unit,
When selecting the display position of the virtual content, when the size and ratio of the virtual content are adjusted, an object having the smallest depth sense among objects in the real image is selected as a default using depth information of the object, and the selected An augmented reality service providing apparatus, characterized in that the area around the object is selected as a display location of the virtual content.
상기 가상 컨텐츠의 표시 위치를 선정할 때, 상기 가상 컨텐츠의 크기 및 비율이 조정되면 상기 객체의 깊이 정보를 이용하여 상기 현실 영상 내의 객체들 중 깊이감이 가장 작은 특정 객체, 크기가 가장 큰 특정 객체, 중앙 영역에 위치하는 특정 객체 중 어느 하나의 특정 객체를 디폴트로 선택하고, 상기 선택된 객체의 주변 영역을 상기 가상 컨텐츠의 표시 위치로 선정하는 것을 특징으로 하는 증강 현실 서비스 제공 장치.The method of claim 14, wherein the control unit,
When selecting the display position of the virtual content, when the size and ratio of the virtual content are adjusted, a specific object having the smallest sense of depth among objects in the real image and a specific object having the largest size using depth information of the object And an augmented reality service providing apparatus, characterized in that one specific object among the specific objects located in a central area is selected as a default, and an area around the selected object is selected as a display position of the virtual content.
상기 현실 영상에 표시하고자 하는 가상 컨텐츠의 속성을 분석하는 가상 컨텐츠 속성 분석부;
상기 현실 영상 내의 객체 속성을 분석하는 객체 속성 분석부;
상기 현실 영상 내에서의 객체 크기 및 비율을 산출하는 객체 크기 및 비율 산출부;
상기 가상 컨텐츠의 크기 및 비율을 조정하는 가상 컨텐츠 크기 및 비율 조정부; 그리고,
상기 증강 현실 서비스 요청을 수신하면 상기 현실 영상에 표시하고자 하는 가상 컨텐츠의 속성을 분석하도록 상기 가상 컨텐츠 속성 분석부를 제어하고, 상기 현실 영상을 획득하면 상기 현실 영상 내의 객체 속성을 분석하도록 상기 객체 속성 분석부를 제어하며, 상기 현실 영상 내에 상기 가상 컨텐츠의 속성에 상응하는 객체가 존재하는지를 확인하고, 상기 가상 컨텐츠의 속성에 상응하는 객체가 존재하면 상기 객체에 상응하는 스켈레톤 데이터를 토대로 상기 현실 영상 내에서의 객체 크기 및 비율을 산출하도록 상기 객체 크기 및 비율 산출부를 제어하며, 상기 산출된 객체 크기 및 비율을 토대로 상기 가상 컨텐츠의 크기 및 비율을 조정하도록 상기 가상 컨텐츠 크기 및 비율 조정부를 제어하는 증강 현실 제어부를 포함하는 것을 특징으로 하는 증강 현실 서비스 제공 장치.The method of claim 1, wherein the control unit,
A virtual content attribute analysis unit that analyzes an attribute of virtual content to be displayed on the real image;
An object property analysis unit that analyzes an object property in the real image;
An object size and ratio calculation unit that calculates the size and ratio of the object in the real image;
A virtual content size and ratio adjustment unit that adjusts the size and ratio of the virtual content; And,
When the augmented reality service request is received, the virtual content attribute analysis unit is controlled to analyze the attribute of the virtual content to be displayed on the real image, and when the real image is obtained, the object attribute is analyzed to analyze the object attribute in the real image. It controls the part, checks whether an object corresponding to the attribute of the virtual content exists in the real image, and if an object corresponding to the attribute of the virtual content exists, in the real image based on skeleton data corresponding to the object An augmented reality control unit that controls the object size and ratio calculation unit to calculate an object size and ratio, and controls the virtual content size and ratio adjustment unit to adjust the size and ratio of the virtual content based on the calculated object size and ratio. Augmented reality service providing apparatus comprising a.
상기 제어부가, 증강 현실 서비스 요청을 수신하면 상기 현실 영상에 표시하고자 하는 가상 컨텐츠의 속성을 분석하는 단계;
상기 제어부가, 상기 현실 영상 내에 상기 가상 컨텐츠의 속성에 상응하는 객체가 존재하는지를 확인하는 단계;
상기 제어부가, 상기 가상 컨텐츠의 속성에 상응하는 객체가 존재하면 상기 객체에 상응하는 스켈레톤 데이터를 토대로 상기 현실 영상 내에서의 객체 크기 및 비율을 산출하는 단계;
상기 제어부가, 상기 산출된 객체 크기 및 비율을 토대로 상기 가상 컨텐츠의 크기 및 비율을 조정하는 단계; 그리고,
상기 제어부가, 상기 크기 및 비율이 조정된 가상 컨텐츠를 상기 현실 영상 내에 표시하도록 상기 디스플레이부를 제어하는 단계를 포함하는 것을 특징으로 하는 증강 현실 서비스 제공 방법.Augmentation of an augmented reality service providing apparatus including a camera unit acquiring a real image, a storage unit storing virtual content to be displayed on the real image, a display unit displaying the virtual content in the real image, and a control unit controlling them In the method of providing a real service,
Analyzing, by the controller, a property of virtual content to be displayed on the real image when receiving a request for an augmented reality service;
Checking, by the control unit, whether an object corresponding to an attribute of the virtual content exists in the real image;
Calculating, by the controller, an object size and a ratio in the real image based on skeleton data corresponding to the object, if an object corresponding to the attribute of the virtual content exists;
Adjusting, by the control unit, a size and ratio of the virtual content based on the calculated object size and ratio; And,
And controlling, by the control unit, the display unit to display the virtual content whose size and ratio are adjusted in the real image.
상기 증강 현실 서비스 요청을 수신하면 상기 현실 영상에 표시하고자 하는 가상 컨텐츠를 상기 저장부로부터 추출하는 단계; 그리고,
상기 추출된 가상 컨텐츠의 속성을 분석하는 단계를 포함하는 것을 특징으로 하는 증강 현실 서비스 제공 방법.The method of claim 20, wherein analyzing the attribute of the virtual content,
Extracting, from the storage unit, virtual content to be displayed on the reality image upon receiving the augmented reality service request; And,
And analyzing the attribute of the extracted virtual content.
상기 증강 현실 서비스 요청을 수신하면 상기 현실 영상에 표시하고자 하는 가상 컨텐츠 목록을 표시하는 단계;
상기 가상 컨텐츠 목록으로부터 적어도 하나의 가상 컨텐츠가 선택되는지를 확인하는 단계;
상기 가상 컨텐츠 목록으로부터 적어도 하나의 가상 컨텐츠가 선택되면 상기 선택된 가상 컨텐츠를 추출하는 단계; 그리고,
상기 추출된 가상 컨텐츠의 속성을 분석하는 단계를 포함하는 것을 특징으로 하는 증강 현실 서비스 제공 방법.The method of claim 20, wherein analyzing the attribute of the virtual content,
Displaying a list of virtual contents to be displayed on the reality image upon receiving the augmented reality service request;
Checking whether at least one virtual content is selected from the virtual content list;
Extracting the selected virtual content when at least one virtual content is selected from the virtual content list; And,
And analyzing the attribute of the extracted virtual content.
상기 현실 영상이 획득되는지를 확인하는 단계;
상기 현실 영상이 획득되면 상기 현실 영상 내에 존재하는 모든 객체의 속성을 분석하는 단계; 그리고,
상기 분석된 객체들 중 상기 가상 컨텐츠의 속성과 동일한 속성을 갖는 객체가 존재하는지를 확인하는 단계를 포함하는 것을 특징으로 하는 증강 현실 서비스 제공 방법.The method of claim 20, wherein checking whether an object corresponding to an attribute of the virtual content exists in the real image comprises:
Checking whether the real image is acquired;
Analyzing the properties of all objects existing in the real image when the real image is acquired; And,
And checking whether an object having the same attribute as the attribute of the virtual content exists among the analyzed objects.
상기 가상 컨텐츠의 속성과 동일한 속성을 갖는 객체가 한 개이면 상기 상응하는 객체의 크기 및 비율을 산출하는 것을 특징으로 하는 증강 현실 서비스 제공 방법.The method of claim 23, wherein the step of checking whether an object having the same attribute as the attribute of the virtual content exists,
If there is one object having the same attribute as the attribute of the virtual content, the size and ratio of the corresponding object are calculated.
상기 가상 컨텐츠의 속성과 동일한 속성을 갖는 객체가 다수 개이면 사용자에 의해 선택된 객체의 크기 및 비율을 산출하는 것을 특징으로 하는 증강 현실 서비스 제공 방법.The method of claim 23, wherein the step of checking whether an object having the same attribute as the attribute of the virtual content exists,
If there are a plurality of objects having the same attribute as the attribute of the virtual content, the size and ratio of the object selected by the user are calculated.
상기 가상 컨텐츠의 속성과 동일한 속성을 갖는 객체가 다수 개이면 상기 가상 컨텐츠의 속성과 동일한 속성을 갖는 객체들이 상기 현실 영상 내에서 다른 객체들과 구별되도록 표시하는 단계;
상기 다수의 객체들 중 어느 하나가 사용자에 의해 선택되는지를 확인하는 단계; 그리고,
상기 사용자가 하나의 객체를 선택하면 상기 선택된 객체의 크기 및 비율을 산출하는 단계를 포함하는 것을 특징으로 하는 증강 현실 서비스 제공 방법.The method of claim 23, wherein the step of checking whether an object having the same attribute as the attribute of the virtual content exists,
If there are a plurality of objects having the same attribute as the attribute of the virtual content, displaying objects having the same attribute as the attribute of the virtual content to be distinguished from other objects in the real image;
Checking which one of the plurality of objects is selected by a user; And,
And calculating a size and a ratio of the selected object when the user selects one object.
상기 가상 컨텐츠의 속성과 동일한 속성을 갖는 객체가 다수 개이면 상기 객체의 깊이 정보를 이용하여 상기 다수의 객체들 중 깊이감이 가장 작은 객체를 디폴트로 선택하고, 상기 선택된 객체의 크기 및 비율을 산출하는 것을 특징으로 하는 증강 현실 서비스 제공 방법.The method of claim 23, wherein the step of checking whether an object having the same attribute as the attribute of the virtual content exists,
If there are a plurality of objects having the same attribute as the attribute of the virtual content, an object having the smallest sense of depth among the plurality of objects is selected as a default using depth information of the object, and the size and ratio of the selected object are calculated. Augmented reality service providing method, characterized in that.
상기 가상 컨텐츠의 속성에 상응하는 객체가 존재하지 않으면 상기 현실 영상 내의 객체들 중 특정 객체를 선정하는 단계;
상기 특정 객체에 상응하는 스켈레톤 데이터를 토대로 상기 현실 영상 내에서의 특정 객체 크기 및 비율을 산출하는 단계; 그리고,
상기 산출된 객체 크기 및 비율을 토대로 상기 가상 컨텐츠의 크기 및 비율을 조정하는 단계를 포함하는 것을 특징으로 하는 증강 현실 서비스 제공 방법.The method of claim 20, wherein checking whether an object corresponding to an attribute of the virtual content exists,
Selecting a specific object among objects in the real image if there is no object corresponding to the attribute of the virtual content;
Calculating a size and a ratio of a specific object in the real image based on skeleton data corresponding to the specific object; And,
And adjusting the size and ratio of the virtual content based on the calculated object size and ratio.
상기 현실 영상 내의 객체들 중 깊이감이 가장 작은 특정 객체, 크기가 가장 큰 특정 객체, 중앙 영역에 위치하는 특정 객체 중 어느 하나의 특정 객체를 선정하는 것을 특징으로 하는 증강 현실 서비스 제공 방법.The method of claim 28, wherein selecting the specific object comprises:
A method for providing an augmented reality service, comprising selecting one of a specific object having the smallest sense of depth, a specific object having the largest size, and a specific object located in a central area among objects in the real image.
상기 가상 컨텐츠의 속성에 상응하는 객체가 존재하면 상기 객체에 상응하는 스켈레톤 데이터를 생성하고, 상기 생성된 스켈레톤 데이터를 토대로 상기 현실 영상 내의 객체 크기와 비율을 산출하는 것을 특징으로 하는 증강 현실 서비스 제공 방법.The method of claim 20, wherein calculating an object size and ratio in the real image based on skeleton data corresponding to the object comprises:
When an object corresponding to the attribute of the virtual content exists, the skeleton data corresponding to the object is generated, and the size and ratio of the object in the real image are calculated based on the generated skeleton data. .
상기 객체의 깊이 정보를 토대로 조인트(joint) 정보를 생성하고, 상기 생성된 조인트 정보를 토대로 각 조인트를 연결하여 상기 객체에 대한 스켈레톤 데이터를 생성하는 것을 특징으로 하는 증강 현실 서비스 제공 방법.The method of claim 30, wherein generating the skeleton data comprises:
A method for providing an augmented reality service, comprising generating joint information based on depth information of the object and connecting each joint based on the generated joint information to generate skeleton data for the object.
상기 현실 영상 내의 객체에 대한 크기 및 비율을 토대로 상기 가상 컨텐츠의 크기 및 비율을 산출하고, 상기 산출된 가상 컨텐츠의 크기 및 비율을 토대로 상기 가상 컨텐츠의 크기 및 비율을 조정하는 것을 특징으로 하는 증강 현실 서비스 제공 방법.The method of claim 20, wherein adjusting the size and ratio of the virtual content based on the calculated object size and ratio,
An augmented reality, characterized in that the size and ratio of the virtual content are calculated based on the size and ratio of the object in the real image, and the size and ratio of the virtual content are adjusted based on the calculated size and ratio of the virtual content. How to provide services.
상기 가상 컨텐츠의 크기 및 비율이 조정되면 상기 현실 영상에서 상기 가상 컨텐츠의 표시 위치를 선정하고, 상기 선정된 가상 컨텐츠의 표시 위치를 토대로 상기 가상 컨텐츠를 상기 현실 영상 내에 표시하는 것을 특징으로 하는 증강 현실 서비스 제공 방법.The method of claim 20, wherein the displaying of the virtual content adjusted in size and ratio in the real image comprises:
An augmented reality, characterized in that when the size and ratio of the virtual content is adjusted, a display position of the virtual content is selected from the real image, and the virtual content is displayed in the real image based on the display position of the selected virtual content. How to provide services.
상기 가상 컨텐츠의 크기 및 비율이 조정되면 사용자에 의해 상기 현실 영상 내에서 상기 가상 컨텐츠의 표시 위치가 선정되는 것을 특징으로 하는 증강 현실 서비스 제공 방법.The method of claim 33, wherein selecting the display position of the virtual content comprises:
The method of providing an augmented reality service, characterized in that when the size and ratio of the virtual content is adjusted, a display position of the virtual content is selected by a user in the real image.
상기 가상 컨텐츠의 크기 및 비율이 조정되면 상기 가상 컨텐츠가 표시될 다수의 영역들이 상기 현실 영상 내의 다른 영역들과 구별되도록 표시하는 단계;
상기 가상 컨텐츠가 표시될 다수의 영역들 중 어느 하나가 사용자에 의해 선택되는지를 확인하는 단계;
상기 사용자가 하나의 영역을 선택하면 상기 선택된 영역을 상기 가상 컨텐츠의 표시 위치로 선정하는 단계를 포함하는 것을 특징으로 하는 증강 현실 서비스 제공 방법.The method of claim 33, wherein selecting the display position of the virtual content comprises:
Displaying a plurality of areas in which the virtual content is to be displayed to be distinguished from other areas in the real image when the size and ratio of the virtual content is adjusted;
Checking which one of the plurality of areas in which the virtual content is to be displayed is selected by a user;
And when the user selects one area, selecting the selected area as a display position of the virtual content.
상기 가상 컨텐츠의 크기 및 비율이 조정되면 상기 객체의 깊이 정보를 이용하여 상기 현실 영상 내의 객체들 중 깊이감이 가장 작은 객체를 디폴트로 선택하고, 상기 선택된 객체의 주변 영역을 상기 가상 컨텐츠의 표시 위치로 선정하는 것을 특징으로 하는 증강 현실 서비스 제공 방법.The method of claim 33, wherein selecting the display position of the virtual content comprises:
When the size and ratio of the virtual content are adjusted, an object with the smallest sense of depth among objects in the real image is selected as a default by using depth information of the object, and the area around the selected object is a display position of the virtual content. Augmented reality service providing method, characterized in that selected as.
상기 가상 컨텐츠의 크기 및 비율이 조정되면 상기 객체의 깊이 정보를 이용하여 상기 현실 영상 내의 객체들 중 깊이감이 가장 작은 특정 객체, 크기가 가장 큰 특정 객체, 중앙 영역에 위치하는 특정 객체 중 어느 하나의 특정 객체를 디폴트로 선택하고, 상기 선택된 객체의 주변 영역을 상기 가상 컨텐츠의 표시 위치로 선정하는 것을 특징으로 하는 증강 현실 서비스 제공 방법.The method of claim 33, wherein selecting the display position of the virtual content comprises:
When the size and ratio of the virtual content is adjusted, one of a specific object having the smallest sense of depth among objects in the real image, a specific object having the largest size, and a specific object located in the center area using depth information of the object A method for providing an augmented reality service, wherein a specific object of is selected as a default and an area around the selected object is selected as a display position of the virtual content.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190084980A KR102220980B1 (en) | 2019-07-15 | 2019-07-15 | Apparatus and method for providing augmented reality service |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190084980A KR102220980B1 (en) | 2019-07-15 | 2019-07-15 | Apparatus and method for providing augmented reality service |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210008627A KR20210008627A (en) | 2021-01-25 |
| KR102220980B1 true KR102220980B1 (en) | 2021-02-26 |
Family
ID=74237785
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190084980A KR102220980B1 (en) | 2019-07-15 | 2019-07-15 | Apparatus and method for providing augmented reality service |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102220980B1 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102414039B1 (en) * | 2021-06-21 | 2022-06-28 | (주)플레이큐리오 | Device augmented reality-based virtual object output method |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101216221B1 (en) * | 2011-01-14 | 2012-12-28 | 에스케이플래닛 주식회사 | System and method for providing augmented reality service |
| KR102067823B1 (en) * | 2017-11-27 | 2020-01-17 | 한국전자통신연구원 | Method and apparatus for operating 2d/3d augument reality technology |
-
2019
- 2019-07-15 KR KR1020190084980A patent/KR102220980B1/en active IP Right Grant
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210008627A (en) | 2021-01-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9195345B2 (en) | Position aware gestures with visual feedback as input method | |
| CA3039345C (en) | Techniques for incorporating a text-containing image into a digital image | |
| US11386620B2 (en) | Multi-endpoint mixfd-reality meetings | |
| US20210019946A1 (en) | System and method for augmented reality scenes | |
| CN107977141B (en) | Interaction control method and device, electronic equipment and storage medium | |
| EP2843625B1 (en) | Method for synthesizing images and electronic device thereof | |
| US11908246B2 (en) | View layout configuration for increasing eye contact in video communications | |
| CN112954210B (en) | Photographing method and device, electronic equipment and medium | |
| CN108965981B (en) | Video playing method and device, storage medium and electronic equipment | |
| US10257436B1 (en) | Method for using deep learning for facilitating real-time view switching and video editing on computing devices | |
| CN108776544B (en) | Interaction method and device in augmented reality, storage medium and electronic equipment | |
| CN111097168B (en) | Display control method and device in game live broadcast, storage medium and electronic equipment | |
| CN113645494B (en) | Screen fusion method, display device, terminal device and server | |
| KR102288323B1 (en) | Method for providing augmented reality service by cloud server, terminal and cloud server using the same | |
| CN112083915A (en) | Page layout method and device, electronic equipment and storage medium | |
| US20200195518A1 (en) | Computer system, remote control notifacation method and program | |
| CN113613067A (en) | Video processing method, device, equipment and storage medium | |
| KR102220980B1 (en) | Apparatus and method for providing augmented reality service | |
| CN112165635A (en) | Video conversion method, device, system and storage medium | |
| CN113965665A (en) | Method and equipment for determining virtual live broadcast image | |
| US8416237B1 (en) | Perspective aware automatic guide generation | |
| CN109885172B (en) | Object interaction display method and system based on Augmented Reality (AR) | |
| CN113132802A (en) | Screen display regulation and control method and device, electronic equipment and medium | |
| US20200097070A1 (en) | Image Processing Method and Apparatus, Storage Medium, and Electronic Device | |
| CN113327309B (en) | Video playing method and device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |