KR20200063115A - Method for Providing Adaptive Augmented Reality - Google Patents

Abstract

Provided is a method of providing adaptive augmented reality, capable of reducing a load caused by generation of graphics of an augmented reality device. According to the present invention, the method of providing the adaptive augmented reality, in which the method is executed through a portable augmented reality device that is carried by a user and has an output unit for outputting an augmented reality model displayed by overlapping virtual data in a predetermined area on actual reality data and at least one tracking sensor for tracking the user, includes: tracking the user through the tracking sensor to determine whether a gaze direction of the user is defined such that the user gazes at a specific augmented reality model output to overlap the predetermined area on the actual reality data being output through the output unit while a face direction of the user is defined toward the output unit; and controlling the output unit to output an augmented reality model having predetermined quality when the gaze direction of the user is defined such that the user gazes at the specific augmented reality model being output through the output unit while the face direction of the user is defined toward the output unit.

Description

적응형 증강현실 제공 방법{Method for Providing Adaptive Augmented Reality}Method for Providing Adaptive Augmented Reality}

본 발명은, 실제현실 데이터 상의 지정된 영역에 가상 데이터를 중첩 표시하는 증강현실 모델을 출력하는 출력부와 사용자를 추적하는 하나 이상의 추적 센서를 구비하여 사용자가 휴대 가능한 휴대형 증강현실장치를 통해 실행되는 방법에 있어서, 상기 추적 센서를 통해 사용자를 추적하여 상기 사용자의 안면 방향이 상기 출력부를 지향한 상태에서 상기 사용자의 시선 방향이 상기 출력부를 통해 출력 중인 실제현실 데이터 상의 지정된 영역에 중첩 출력된 특정한 증강현실 모델을 응시하는지 확인하고, 상기 사용자의 안면 방향이 상기 출력부를 지향한 상태에서 상기 사용자의 시선 방향이 상기 출력부를 통해 출력 중인 특정한 증강현실 모델을 응시한 경우 상기 출력부를 통해 지정된 품질의 증강현실 모델을 출력하도록 제어하는 적응형 증강현실 제공 방법에 관한 것이다.The present invention is provided with an output unit for outputting an augmented reality model that superimposes and displays virtual data on a designated area on real reality data, and at least one tracking sensor for tracking a user, to be executed through a portable augmented reality device that is portable by a user. In particular, a specific augmented reality in which a user's gaze direction is superimposed on a designated area on real-world data being output through the output unit while tracking the user through the tracking sensor and the user's face direction is directed to the output unit. Check whether the model is staring, and if the user's gaze direction is staring at a specific augmented reality model being output through the output unit while the user's face direction is toward the output unit, the augmented reality model of the quality specified through the output unit It relates to a method for providing an adaptive augmented reality to control the output.

3D그래픽은 교육, 산업, 엔터테인먼트 등의 분야로 이미 일반화되어 사용되고 있고, 휴대용 게임기와 같은 소형 장치에서도 3D그래픽 기술이 적용되고 있는 등 3D기술은 매우 보편화되어 있다고 볼 수 있다. 이렇게 일반화 되어 있는 3D기술이라도 한 가지 분명한 것은 3D모델을 생성하거나 3D그래픽을 이용하는 데는 평균 이상의 처리 능력을 가진 H/W및 S/W환경이 필요하다는 점이다. 3D graphics are already widely used in fields such as education, industry, and entertainment, and 3D technology is very common, such as 3D graphics technology being applied to small devices such as portable game machines. One thing that is clear even in this generalized 3D technology is that an H/W and S/W environment with an average processing power is required to generate a 3D model or use 3D graphics.

모바일 폰의 이용 환경 또한 3D모델을 생성하거나 이용하기 위해서는 현재 판매되는 제품 중에서도 최고 수준의 CPU성능이나 메모리 공간을 필요로 한다. 하지만 최고 수준의 스펙을 갖춘 모바일 폰 장치라고 하더라도 증강현실 서비스에 따라 많은 수의 3D모델을 생성해야 하거나 복잡한 3D모델을 생성해야 할 경우 프로세스에 부하가 걸리게 되고, 상황에 따라서는 증강현실을 원활하게 이용하지 못하는 경우가 발생할 수 있다.The usage environment of mobile phones also requires the highest level of CPU performance or memory space among currently sold products to create or use 3D models. However, even with a mobile phone device with the highest specification, if a large number of 3D models need to be generated or a complex 3D model needs to be generated according to the augmented reality service, the process is burdensome, and depending on the situation, augmented reality can be smoothly performed. It may happen that you cannot use it.

증강현실의 대중화를 위해서는 일반적인 스펙의 모바일 폰 사용자들도 증강현실 이용에 무리가 없도록 서비스의 ‘특성’과 ‘상황’에 따라 적합하게 3D모델 생성 빈도수를 줄여서 제공할 수 있는 탄력적인 적용 방법이 필요하다.For the popularization of augmented reality, a flexible application method that can be provided by reducing the frequency of 3D model generation appropriately according to the'characteristics' and'situation' of the service is required so that mobile phone users of general specifications can use the augmented reality. Do.

본 발명의 목적은, 실제현실 데이터 상의 지정된 영역에 가상 데이터를 중첩 표시하는 증강현실 모델을 출력하는 출력부와 사용자를 추적하는 하나 이상의 추적 센서를 구비하여 사용자가 휴대 가능한 휴대형 증강현실장치를 통해 실행되는 방법에 있어서, 상기 추적 센서를 통해 사용자를 추적하여 상기 사용자의 안면 방향이 상기 출력부를 지향한 상태에서 상기 사용자의 시선 방향이 상기 출력부를 통해 출력 중인 실제현실 데이터 상의 지정된 영역에 중첩 출력된 특정한 증강현실 모델을 응시하는지 확인하는 제1 단계 및 상기 사용자의 안면 방향이 상기 출력부를 지향한 상태에서 상기 사용자의 시선 방향이 상기 출력부를 통해 출력 중인 특정한 증강현실 모델을 응시한 경우 상기 출력부를 통해 지정된 품질의 증강현실 모델을 출력하도록 제어하는 제2 단계를 포함하는 적응형 증강현실 제공 방법을 제공함에 있다.An object of the present invention is provided through a portable augmented reality device that is portable by a user having an output unit that outputs an augmented reality model that superimposes and displays virtual data on a designated area on real reality data, and one or more tracking sensors that track a user. In the method, the user tracks the user through the tracking sensor, and the user's face direction is directed to the output unit, and the user's gaze direction is output to the designated area on the real-world data being output through the output unit. A first step of checking whether the augmented reality model is staring, and a specific augmented reality model being output through the output unit when the user's face direction is directed to the output unit and staring at the output unit is designated through the output unit It is to provide an adaptive augmented reality providing method comprising a second step of controlling to output a quality augmented reality model.

본 발명에 따른 적응형 증강현실 제공 방법은, 실제현실 데이터 상의 지정된 영역에 가상 데이터를 중첩 표시하는 증강현실 모델을 출력하는 출력부와 사용자를 추적하는 하나 이상의 추적 센서를 구비하여 사용자가 휴대 가능한 휴대형 증강현실장치를 통해 실행되는 방법에 있어서, 상기 추적 센서를 통해 사용자를 추적하여 상기 사용자의 안면 방향이 상기 출력부를 지향한 상태에서 상기 사용자의 시선 방향이 상기 출력부를 통해 출력 중인 실제현실 데이터 상의 지정된 영역에 중첩 출력된 특정한 증강현실 모델을 응시하는지 확인하는 제1 단계 및 상기 사용자의 안면 방향이 상기 출력부를 지향한 상태에서 상기 사용자의 시선 방향이 상기 출력부를 통해 출력 중인 특정한 증강현실 모델을 응시한 경우 상기 출력부를 통해 지정된 품질의 증강현실 모델을 출력하도록 제어하는 제2 단계를 포함하는 것을 특징으로 한다.The method for providing an adaptive augmented reality according to the present invention includes a portable unit that is portable by a user having an output unit for outputting an augmented reality model that superimposes and displays virtual data on a designated area on real reality data, and at least one tracking sensor for tracking a user. In the method executed through the augmented reality device, in the state where the user's face direction is directed to the output unit by tracking the user through the tracking sensor, the user's gaze direction is specified on the actual reality data being output through the output unit. A first step of checking whether a specific augmented reality model superimposed on an area gazes and a specific augmented reality model in which the user's gaze direction is being output through the output unit while the user's face direction is directed to the output unit And a second step of controlling to output an augmented reality model of a specified quality through the output unit.

본 발명에 따른 적응형 증강현실 제공 방법에 있어서, 상기 제2 단계는, 상기 사용자의 안면 방향이 상기 출력부를 지향하지 않거나 상기 사용자의 시선 방향이 상기 출력부를 통해 출력 중인 특정한 증강현실 모델을 응시하지 않는 경우 상기 출력부를 통해 중첩 출력 중인 증강현실 모델의 품질의 증강현실 모델의 상세도를 낮추도록 제어하거나 중요정보를 제외한 나머지 정보를 출력하지 않도록 제어하는 단계를 더 포함하는 것을 특징으로 한다.In the method for providing adaptive augmented reality according to the present invention, the second step does not stare at a specific augmented reality model in which the user's face direction is not directed to the output unit or the user's gaze direction is being output through the output unit. If not, it characterized in that it further comprises the step of controlling to lower the detail of the augmented reality model of the quality of the augmented reality model being superimposed output through the output unit or to not output the rest of the information except the important information.

본 발명에 따른 적응형 증강현실 제공 방법은, 실제현실 데이터 상의 지정된 영역에 가상 데이터를 중첩 표시하는 증강현실 모델을 출력하는 출력부와 사용자를 추적하는 하나 이상의 추적 센서를 구비하여 사용자가 휴대 가능한 휴대형 증강현실장치를 통해 실행되는 방법에 있어서, 상기 추적 센서를 통해 사용자의 시선 방향을 추적하여 상기 출력부를 통해 출력 중인 실제현실 데이터 상의 지정된 영역에 중첩 출력 중인 증강현실 모델을 응시하는지 확인하는 제1 단계 및 상기 추적된 사용자의 시선 방향이 상기 출력부를 통해 중첩 출력 중인 증강현실 모델을 응시하지 않는 경우 상기 출력부를 통해 중첩 출력 중인 증강현실 모델의 품질의 증강현실 모델의 상세도를 낮추도록 제어하거나 중요정보를 제외한 나머지 정보를 출력하지 않도록 제어하는 제2 단계를 포함하는 것을 특징으로 한다.The method for providing an adaptive augmented reality according to the present invention includes a portable unit that is portable by a user having an output unit for outputting an augmented reality model that superimposes and displays virtual data on a designated area on real reality data, and at least one tracking sensor for tracking a user. In the method executed through the augmented reality device, a first step of tracking a user's gaze direction through the tracking sensor and confirming that the augmented reality model being superimposed on a designated area on the actual reality data being output through the output unit is gazing. And if the tracked user's gaze direction does not stare at the augmented reality model that is being superimposed and output through the output unit, control to lower the detail of the quality of the augmented reality model of the augmented reality model that is being superimposed and output through the output unit, or important information. It characterized in that it comprises a second step of controlling not to output the remaining information except.

본 발명에 따른 시선 추적을 이용한 적응형 증강현실 제공 방법에 있어서, 상기 출력부는, 카메라를 통해 실시간 입력되는 실제현실 데이터를 표시하는 디스플레이, 투명 면 상의 특정 영역에 가상현실 데이터를 표시 가능한 투명 디스플레이 중 적어도 하나를 포함하여 이루어지는 것을 특징으로 한다.In the method for providing an adaptive augmented reality using gaze tracking according to the present invention, the output unit is a display that displays real reality data input in real time through a camera, and a transparent display capable of displaying virtual reality data in a specific area on a transparent surface It characterized in that it comprises at least one.

본 발명에 따른 시선 추적을 이용한 적응형 증강현실 제공 방법은, 실제현실 데이터를 촬영하여 입력하는 카메라와 사용자의 시선을 추적하는 시선 추적 센서를 구비한 증강현실장치를 통해 실행되는 방법에 있어서, 상기 시선 추적 센서를 통해 사용자의 시선 방향을 추적하여 상기 사용자의 시선이 상기 카메라를 통해 실시간 입력되는 실제현실 데이터 상의 지정된 객체 영역에 가상현실 데이터를 표시하는 증강현실 모델을 출력하는 출력부를 응시하는지 확인하는 제1 단계 및 상기 사용자의 시선이 상기 증강현실 모델을 출력하는 출력부를 응시하는 경우에 상기 출력부를 통해 출력되는 증강현실 모델의 품질을 고품질로 제어하고, 상기 사용자의 시선이 상기 증강현실 모델을 출력하는 출력부를 응시하지 않는 경우에 상기 출력부를 통해 출력되는 증강현실 모델의 품질을 저품질로 제어하는 제2 단계를 포함하는 것을 특징으로 한다.The method for providing adaptive augmented reality using gaze tracking according to the present invention is a method executed through an augmented reality device equipped with a camera that captures and inputs real reality data and a gaze tracking sensor that tracks a user's gaze. Tracking a user's gaze direction through a gaze tracking sensor to check whether the gaze of the user gazes at an output unit that outputs an augmented reality model displaying virtual reality data in a designated object area on real reality data input through the camera in real time When the first step and the user's gaze gazes at the output unit outputting the augmented reality model, the quality of the augmented reality model output through the output unit is controlled with high quality, and the user's gaze outputs the augmented reality model And a second step of controlling the quality of the augmented reality model output through the output unit to a low quality when the output unit does not stare.

본 발명에 따른 증강현실 서비스에 대응하는 각종 증강현실 모델을 출력하는 기능이 구비된 증강현실 서비스를 제공하는 단말에 있어서, 사용자의 시선 방향을 트래킹하는 시선 확인부와, 상기 사용자의 시선 방향 트래킹을 통해, 상기 사용자의 시선이 상기 증강현실 서비스를 제공하는 단말을 통해 출력되는 증강현실 모델에 대한 응시 여부를 확인하는 시선 확인부와, 상기 시선의 방향에 따라 상기 출력되는 증강현실 모델의 그래픽 품질의 수준을 제어하는 증강현실 모델 제어부를 구비하는 사용자 시선 기반 증강현실 기능이 구비된 단말에 관한 것이다.A terminal providing an augmented reality service equipped with a function for outputting various augmented reality models corresponding to the augmented reality service according to the present invention, comprising: a gaze confirmation unit for tracking a user's gaze direction, and tracking the user's gaze direction Through, the gaze check unit to determine whether the gaze of the user gaze to the augmented reality model output through the terminal providing the augmented reality service, and the graphic quality of the output augmented reality model according to the direction of the gaze It relates to a terminal equipped with a user's gaze-based augmented reality function having an augmented reality model control unit for controlling the level.

본 발명은 사용자가 화면에 시선을 응시하고 있지 않는 경우 저품질의 그래픽 모델을 제공해 증강현실 장치의 그래픽 생성에 따른 부하를 줄일 수 있다.The present invention provides a low-quality graphic model when the user is not staring at the screen, thereby reducing the load due to the graphic generation of the augmented reality device.

또한, 본 발명은 증강현실 서비스가 처리해야 할 데이터 양이 늘어나게 될 경우에 적합한 처리 방식으로, 저품질의 모델(정보)이 제공되지만, 사용상의 문제는 최소화시킬 수 있는 장점이 있다.In addition, the present invention provides a low-quality model (information) as a processing method suitable when the amount of data to be processed by the augmented reality service increases, but has an advantage of minimizing usage problems.

도 1은 본 발명의 실시 방법에 따른 증강현실 장치(100) 구성을 도시한 도면이다.
도 2는 본 발명의 실시 방법에 따른 사용자 위치와 시선을 추적하여 증강현실 장치(100)를 통해 출력되는 증강현실 모델에 대한 품질을 제어하는 과정을 도시한 도면이다.
도 3과 도 4는 본 발명의 실시 방법에 따라 증강현실 장치(100)를 통해 증강현실 모델을 제공하는 실시예를 도시한 도면이다.1 is a view showing the configuration of the augmented reality device 100 according to an embodiment of the present invention.
FIG. 2 is a diagram illustrating a process of controlling the quality of the augmented reality model output through the augmented reality device 100 by tracking a user's location and gaze according to an embodiment of the present invention.
3 and 4 are views showing an embodiment of providing an augmented reality model through the augmented reality device 100 according to an embodiment of the present invention.

본 발명에 따른 증강현실 서비스에 대응하는 각종 증강현실 모델을 출력하는 기능이 구비된 증강현실 서비스를 제공하는 단말은, 사용자의 시선 방향을 트래킹하고, 상기 사용자의 시선 방향에 대응하여, 상기 사용자의 시선이 상기 증강현실 서비스를 제공하는 단말을 통해 출력되는 증강현실 모델에 대한 응시 여부를 확인하는 시선 확인부와, 상기 시선의 방향에 따라 상기 출력되는 증강현실 모델의 그래픽 품질의 수준을 제어하는 증강현실 모델 제어부를 구비하여 이루어지는 것을 특징으로 한다.A terminal providing an augmented reality service equipped with a function of outputting various augmented reality models corresponding to the augmented reality service according to the present invention, tracks a user's gaze direction and, in response to the user's gaze direction, the user's An eye gaze checking unit to check whether gaze gazes on the augmented reality model output through the terminal providing the augmented reality service, and an augmentation to control the level of graphic quality of the output augmented reality model according to the direction of the gaze It is characterized by comprising a reality model control unit.

본 발명에 따른 사용자 시선 기반 증강현실 기능이 구비된 단말에 있어서, 상기 모델 제어부는, 사용자의 시선이 증강현실 모델을 응시하는 경우, 증강현실 모델에 포함된 하나 이상의 컨텐츠에 대한 고품질 수준의 그래픽을 제공하거나, 또는 사용자의 시선이 증강현실 모델을 응시하지 않는 경우, 증강현실 모델에 포함된 하나 이상의 컨텐츠에 대한 저품질 수준의 그래픽을 제공하는 것을 특징으로 한다.In the terminal having a user gaze-based augmented reality function according to the present invention, the model control unit, when the user's gaze gaze at the augmented reality model, the high-quality graphics for one or more content included in the augmented reality model If provided, or if the user's eyes do not stare at the augmented reality model, it is characterized by providing a low-quality level of graphics for one or more content included in the augmented reality model.

이하 첨부된 도면과 설명을 참조하여 본 발명의 바람직한 실시예에 대한 동작 원리를 상세히 설명한다. 다만, 하기에 도시되는 도면과 후술되는 설명은 본 발명의 특징을 효과적으로 설명하기 위한 여러 가지 방법 중에서 바람직한 실시 방법에 대한 것이며, 본 발명이 하기의 도면과 설명만으로 한정되는 것은 아니다. 또한, 하기에서 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서, 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 발명에서 전반에 걸친 내용을 토대로 내려져야 할 것이다. Hereinafter, an operation principle of a preferred embodiment of the present invention will be described in detail with reference to the accompanying drawings and description. However, the drawings shown below and the descriptions described below are for preferred implementation methods among various methods for effectively describing the features of the present invention, and the present invention is not limited to the following drawings and description. In addition, in the following description of the present invention, when it is determined that detailed descriptions of related known functions or configurations may unnecessarily obscure the subject matter of the present invention, detailed descriptions thereof will be omitted. In addition, terms to be described later are terms defined in consideration of functions in the present invention, which may vary according to a user's or operator's intention or practice. Therefore, the definition should be made based on the overall contents of the present invention.

또한, 이하 실시되는 본 발명의 바람직한 실시예는 본 발명을 이루는 기술적 구성요소를 효율적으로 설명하기 위해 각각의 시스템 기능구성에 기 구비되어 있거나, 또는 본 발명이 속하는 기술분야에서 통상적으로 구비되는 시스템 기능구성은 가능한 생략하고, 본 발명을 위해 추가적으로 구비되어야 하는 기능구성을 위주로 설명한다. 만약 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면, 하기에 도시하지 않고 생략된 기능구성 중에서 종래에 기 사용되고 있는 구성요소의 기능을 용이하게 이해할 수 있을 것이며, 또한 상기와 같이 생략된 구성요소와 본 발명을 위해 추가된 구성요소 사이의 관계도 명백하게 이해할 수 있을 것이다. In addition, a preferred embodiment of the present invention to be carried out below is provided in each system functional configuration in order to efficiently describe the technical components constituting the present invention, or a system function commonly provided in the technical field to which the present invention pertains. The configuration is omitted as much as possible, and the functional configuration that should be additionally provided for the present invention will be mainly described. If a person having ordinary knowledge in the technical field to which the present invention pertains, it will be possible to easily understand the functions of components that have been used in the prior art among the omitted functional configurations not shown below, and also the omitted components as described above. The relationship between the elements and the components added for the invention will also be clearly understood.

또한, 이하 실시예는 본 발명의 핵심적인 기술적 특징을 효율적으로 설명하기 위해 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 명백하게 이해할 수 있도록 용어를 적절하게 변형하여 사용할 것이나, 이에 의해 본 발명이 한정되는 것은 결코 아니다. In addition, the following examples will be used by appropriately modifying the terms so that those of ordinary skill in the art to which the present invention pertains can clearly understand in order to efficiently describe the core technical features of the present invention. It is never limited.

결과적으로, 본 발명의 기술적 사상은 청구범위에 의해 결정되며, 이하 실시예는 진보적인 본 발명의 기술적 사상을 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 효율적으로 설명하기 위한 일 수단일 뿐이다.As a result, the technical spirit of the present invention is determined by the claims, and the following examples are one means for efficiently explaining the technical spirit of the present invention to those skilled in the art to which the present invention pertains. That's it.

도면1은 본 발명의 실시 방법에 따른 증강현실 장치(100) 구성을 도시한 도면이다.1 is a view showing the configuration of the augmented reality device 100 according to an embodiment of the present invention.

보다 상세하게 본 도면1은 사용자의 시선에 따른 증강현실 모델에 대한 품질을 제어하여 출력하는 구성을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면1을 참조 및/또는 변형하여 상기 증강현실 장치(100) 구성에 대한 다양한 실시 방법(예컨대, 일부 구성부가 생략되거나, 또는 세분화되거나, 또는 합쳐진 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면1에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다. In more detail, FIG. 1 shows a configuration for controlling and outputting the quality of the augmented reality model according to the user's gaze, and those skilled in the art to which the present invention pertains may refer to FIG. 1 and / Or can be inferred to infer various implementation methods for the augmented reality device 100 configuration (for example, some components are omitted, subdivided, or combined implementation methods), but the present invention provides all the inferred implementations. It is made including a method, the technical features are not limited to only the implementation method shown in FIG.

본 발명의 증강현실 장치(100)는 상기 증강현실 장치(100) 앞쪽에 위치하여 증강현실 장치(100)에 대한 응시가 가능한지 여부를 확인하기 위한 사용자의 위치를 추적하는 기능, 상기 사용자의 시선을 추적하는 기능, 상기 증강현실 장치(100)를 통해 출력되는 증강현실 모델의 품질을 제어하는 기능을 구비한 장치의 총칭으로서, 상기 사용자의 위치를 추적하는 방식, 사용자의 시선을 추적하는 방식, 상기 증강현실 모델의 품질을 제어하는 기능에 의해 한정되지 아니한다. 예를들어, 상기 가상현실 데이터는 장치 내 메모리에 저장되어 있거나, 또는 통신망을 통해 수신되거나, 또는 미리 준비된 하나 이상의 폴리곤(Polygon) 데이터와 텍스쳐(Texture) 데이터를 조합하여 실시간 생성될 수 있다. The augmented reality device 100 of the present invention is located at the front of the augmented reality device 100, a function of tracking a user's location to check whether gaze is possible on the augmented reality device 100, the user's gaze As a generic term for a device having a function of controlling a quality of an augmented reality model output through the augmented reality device 100, a method of tracking the user's location, a method of tracking the user's gaze, and the It is not limited by the ability to control the quality of the augmented reality model. For example, the virtual reality data may be stored in a memory in a device, or received through a communication network, or may be generated in real time by combining one or more polygon data and texture data prepared in advance.

또한, 상기 증강현실 장치(100)는 장치를 구성하는 구조에 의해 한정되지 아니한다. 예를들어, 상기 증강현실 장치(100)는 하나의 케이스 내에 각 구성부가 통합 구비된 독립 장치 형태, 연결된 두개 이상의 장치에 각 구성부가 분리되어 구비된 연동 장치 형태, 특정 물건/건물/공간에 설치된 형태 등으로 구현될 수 있다.In addition, the augmented reality device 100 is not limited by the structure constituting the device. For example, the augmented reality device 100 is an independent device type in which each component is integrated in one case, an interlocking device type in which each component is separately provided in two or more connected devices, and is installed in a specific object/building/space It can be implemented as a form.

도면1을 참조하면, 상기 증강현실 장치(100)는, 제어부(140), 메모리부(130), 출력부(120), 센서부(115)를 구비하며, 가상현실 데이터를 획득하는 방식에 따라 통신부(125)와, 사용자 조작을 위한 조작부(135)를 더 구비하는 것이 가능하다.Referring to FIG. 1, the augmented reality device 100 includes a control unit 140, a memory unit 130, an output unit 120, and a sensor unit 115, according to a method of obtaining virtual reality data. It is possible to further include a communication unit 125 and an operation unit 135 for user manipulation.

상기 제어부(140)는 물리적으로 프로세서와 실행 메모리와 버스를 포함하며, 기능적으로 상기 증강현실 장치(100)에 구비된 프로그램이 상기 실행 메모리로 로드되어 상기 프로세서에 의해 연산되도록 처리하는 기록매체 기능을 수행한다. 이에 본 도면1은 상기 증강현실 장치(100)에 구비되는 프로그램 구성부를 편의상 상기 제어부(140) 내에 도시하여 설명하기로 한다.The control unit 140 physically includes a processor, an execution memory, and a bus, and functionally records a recording medium function for processing a program provided in the augmented reality device 100 to be loaded into the execution memory and processed by the processor. Perform. Accordingly, in FIG. 1, a program configuration unit provided in the augmented reality device 100 will be described in the control unit 140 for convenience.

상기 메모리부(130)는 비휘발성 메모리를 포함하며, 기능적으로 상기 제어부(140)로 로딩될 프로그램 코드와 상기 프로그램 코드가 사용하는 데이터 셋트를 저장/유지하는 저장매체 기능을 수행한다. 여기서, 상기 프로그램 코드는 상기 증강현실 장치(100)의 기본 동작을 운영/제어하는 시스템 프로그램 코드와, 상기 증강현실 장치(100)에 구비되는 각종 애플리케이션 서비스를 제공하는 응용 프로그램 코드를 포함한다.The memory unit 130 includes a non-volatile memory, and functionally performs a storage medium function that stores/maintains a program code to be loaded into the control unit 140 and a data set used by the program code. Here, the program code includes system program codes for operating/controlling the basic operation of the augmented reality device 100 and application program codes for providing various application services provided in the augmented reality device 100.

본 발명의 실시 방법에 따르면, 상기 메모리부(130)는 상기 증강현실 장치(100)를 통해 제공할 증강현실 모델에 대한 가상현실 데이터와, 상기 가상현실 데이터의 품질 조정을 위한 품질조정 기준정보를 저장하며, 이 경우 상기 메모리부(130)는 상기 가상현실 데이터를 획득하는 가상현실 획득수단의 기능을 수행하는 것이 가능하다.According to an embodiment of the present invention, the memory unit 130 provides virtual reality data for the augmented reality model to be provided through the augmented reality device 100 and quality adjustment reference information for adjusting the quality of the virtual reality data. In this case, the memory unit 130 can perform the function of the virtual reality acquiring means for acquiring the virtual reality data.

상기 출력부(120)는 증강현실 장치(100)가 제공하는 증강현실 모델에 대응하는 가상현실 데이터를 출력시키기 위한 출력모듈을 포함하며, 상기 사용자의 시선 위치에 따라 상기 증강현실 장치(100)를 응시하는 경우, 고품질의 증강현실 모델을 제공하고, 사용자의 시선 위치가 증강현실 장치(100)를 응시하지 않는 경우, 저품질의 증강현실 모델을 제공한다.The output unit 120 includes an output module for outputting virtual reality data corresponding to the augmented reality model provided by the augmented reality device 100, the augmented reality device 100 according to the user's gaze position When gazing, a high-quality augmented reality model is provided, and when a user's gaze position does not stare at the augmented reality device 100, a low-quality augmented reality model is provided.

상기 카메라부는 광학부와 CCD(Charge Coupled Device)로 구성된 카메라로부터 래스터(Raster) 기반의 실제현실 데이터를 비트맵 방식으로 독출하는 장치를 포함한다. 여기서, 상기 실제현실 데이터는 이미지 데이터 또는 동영상 데이터를 포함할 수 있다. 본 발명에 따르면, 상기 카메라부는 상기 획득되는 실제현실 데이터 중 센서 입력에 필요한 특정 데이터만 선택적으로 획득하는 센서부(115)의 기능을 더 수행할 수 있다.The camera unit includes a device that reads raster-based real reality data from a camera composed of an optical unit and a CCD (Charge Coupled Device) in a bitmap manner. Here, the actual reality data may include image data or video data. According to the present invention, the camera unit may further perform the function of the sensor unit 115 to selectively acquire only specific data required for sensor input among the acquired real reality data.

상기 통신부(125)는 하나 이상의 통신 규격과 프로토콜에 따라 유선 통신망과 무선 통신망 중 하나 이상의 통신망에 접속하는 통신모듈을 포함하며, 상기 통신망을 통해 서버(또는 장치)와 통신채널을 연결하거나 또는 다른 증강현실 장치(100)와 통신채널을 연결하는 기능을 제공한다.The communication unit 125 includes a communication module that connects to one or more of a wired communication network and a wireless communication network according to one or more communication standards and protocols, and connects a communication channel with a server (or device) through the communication network or other augmentation It provides a function of connecting the communication channel with the reality device 100.

본 발명의 실시 방법에 따르면, 상기 통신부(125)는 통신망 상의 서버(또는 장치)에 저장된 가상현실 데이터를 수신하는 가상현실 획득수단의 기능을 제공하는 것이 가능하다.According to the method of implementation of the present invention, the communication unit 125 may provide a function of a virtual reality acquisition means for receiving virtual reality data stored in a server (or device) on a communication network.

상기 센서부(115)는 사용자의 위치를 추적하는 위치 추적 센서(110) 및 상기 사용자의 시선방향을 추적하는 시선 추적 센서(105)로부터 센싱되는 센서신호를 획득하는 장치를 포함한다.The sensor unit 115 includes a device for acquiring a sensor signal sensed from a position tracking sensor 110 that tracks a user's position and a gaze tracking sensor 105 that tracks the user's gaze direction.

**

**

본 발명의 실시 방법에 따르면, 상기 위치 추적 센서(110)와 시선 추적 센서(105)는 하나의 센서로 통합되어 구성되는 것이 가능하다.According to an embodiment of the present invention, the position tracking sensor 110 and the eye tracking sensor 105 may be configured to be integrated into one sensor.

본 발명의 실시 방법에 따르면, 상기 위치 추적 센서(110)는 광학 방식, 화상 입력 방식, 전자파 방식, 사운드 판독 방식 중 어느 하나의 센서 방식을 통해 사용자의 위치를 추적한다.According to an exemplary embodiment of the present invention, the position tracking sensor 110 tracks a user's location through any one of the optical, image input, electromagnetic, and sound reading methods.

여기서, 상기 광학 방식 위치 추적은 상기 위치 추적 센서(110)에서 육안으로 식별이 난해하며 인체에 무해한 광선(예컨대, 적외선)을 주사하고, 상기 사용자를 통해 반사되는 광선을 인식하여 사용자의 위치를 추적하는 방식이다.Here, the optical position tracking is a position that is difficult to identify with the naked eye from the position tracking sensor 110 and scans a user's position by scanning light (eg, infrared rays) harmless to the human body and recognizing light rays reflected through the user. Is the way to do it.

상기 화상 입력 방식 위치 추적은 상기 위치 추적 센서(110)에서 CCD(Charge Coupled Device) 소자를 포함하는 카메라를 통해 화상 데이터를 입력하고, 상기 화상 데이터를 판독하여 사용자의 위치를 추적하는 방식이다.The image input method location tracking is a method in which the location tracking sensor 110 inputs image data through a camera including a CCD (Charge Coupled Device) element, and reads the image data to track a user's location.

상기 전자파 방식 위치 추적은 상기 사용자가 소지한 전자파 송출장치에서 송출되는 전자파 신호를 수신하고, 삼각측량 방식으로 상기 사용자의 위치를 추적하는 방식이다.The electromagnetic wave location tracking is a method of receiving an electromagnetic wave signal transmitted from the electromagnetic wave transmitting device carried by the user and tracking the user's location by a triangulation method.

상기 사운드 판독 방식 위치 추적은 사람의 귀에는 들리지 않는 사운드(예컨대, 초음파)를 주사하고, 상기 사용자를 통해 반사되는 사운드를 인식하여 사용자의 위치를 추적하는 방식이다.The sound reading method position tracking is a method of scanning a sound that is inaudible to a human ear (eg, ultrasound) and recognizing the sound reflected through the user to track the user's position.

그러나, 상기 위치 추적 센서(110)가 사용자의 위치를 추적하는 방식이 상술된 방식으로 한정되는 것은 결코 아니며, 당업자에 따라 다양하게 변형하여 실시할 수 있으며, 본 발명은 상기 변형 가능한 모든 실시방법를 포함한다.However, the manner in which the location tracking sensor 110 tracks a user's location is not limited to the above-described method, and can be variously modified according to those skilled in the art, and the present invention includes all the deformable implementation methods do.

본 발명의 실시 방법에 따르면, 상기 시선 추적 센서(105)는 광학 방식과 화상 입력 방식 중 어느 하나의 센서 방식을 통해 사용자의 시선을 추적한다.According to an embodiment of the present invention, the eye tracking sensor 105 tracks the user's eye gaze through one of the optical and image input methods.

여기서, 상기 광학 방식 위치 추적은 상기 시선 추적 센서(105)에서 육안으로 식별이 난해하며 인체에 무해한 광선(예컨대, 적외선)을 사용자에게 선택적으로 주사하고, 상기 사용자로부터 반사되는 광선을 인식하여 사용자의 시선을 추적하는 방식이다.Here, the optical position tracking is performed by the gaze tracking sensor 105, which is difficult to discriminate with the naked eye and selectively scans the user with light (eg, infrared rays) that is harmless to the human body, and recognizes the light reflected from the user. It is a way to keep an eye on you.

상기 화상 입력 방식 시선 추적은 상기 시선 추적 센서(105)에서 CCD(Charge Coupled Device) 소자를 포함하는 카메라를 통해 사용자에 대한 화상 데이터를 입력하고, 상기 화상 데이터를 판독하여 사용자의 시선을 추적하는 방식이다.The image input method gaze tracking is a method in which the gaze tracking sensor 105 inputs image data for a user through a camera including a CCD (Charge Coupled Device) device, and reads the image data to track the user's gaze to be.

그러나, 상기 시선 추적 센서(105)가 사용자의 시선을 추적하는 방식이 상술된 방식으로 한정되는 것은 결코 아니며, 당업자에 따라 다양하게 변형하여 실시할 수 있으며, 본 발명은 상기 변형 가능한 모든 실시방법을 포함한다.However, the manner in which the gaze tracking sensor 105 tracks the user's gaze is not limited to the above-described manner, and can be variously modified according to those skilled in the art. Includes.

상기 조작부(135)는 상기 증강현실 장치(100)에 사용자 조작이 필요한 경우, 상기 사용자 조작을 입력받는 장치를 포함하며, 키 버튼을 구비하여 사용자 조작에 필요한 정보를 키 입력받는 키 입력 모듈과, 상기 출력부(120)와 연동하여 통해 사용자 조작에 필요한 정보를 입력받는 터치 스크린 모듈 중 하나 이상을 포함하며, 상기 카메라부 또는 센서부(115)와 연동하여 사용자의 손 동작, 몸 동작 및 눈 움직임 중 어느 하나를 인식하여 사용자 조작에 필요한 정보를 입력받는 사용자 인식 모듈을 더 포함할 수 있다.The manipulation unit 135 includes a device that receives the user manipulation when the augmented reality device 100 requires user manipulation, and includes a key input module having a key button to input information necessary for user manipulation, It includes one or more of the touch screen module that receives information necessary for user manipulation through the output unit 120, and works in conjunction with the camera unit or the sensor unit 115 to move the user's hands, body, and eyes. It may further include a user recognition module for recognizing any one and receiving information necessary for user manipulation.

도면x를 참조하면, 상기 증강현실 장치(100)는, 하나 이상의 실제현실 획득수단을 통해 실제현실 데이터를 입력하는 실제현실 입력부(145)와, 상기 실제현실 데이터로부터 가상현실 데이터를 출력할 객체를 인식하는 객체 인식부(150)와, 상기 객체에 표시할 가상현실 데이터를 결정하는 가상현실 결정부(155)와, 하나 이상의 가상현실 획득수단을 통해 상기 결정된 가사현실 데이터를 입력하는 가상현실 입력부(160)를 구비한다.Referring to FIG. x, the augmented reality device 100 includes an actual reality input unit 145 for inputting real reality data through one or more real reality acquisition means, and an object to output virtual reality data from the real reality data. An object recognition unit 150 to recognize, a virtual reality determination unit 155 to determine virtual reality data to be displayed on the object, and a virtual reality input unit to input the determined lyrics reality data through one or more virtual reality acquisition means ( 160).

상기 실제현실 입력부(145)는 상기 카메라부를 통해 입력되는 데이터를 가상현실 데이터를 표시하여 상기 출력부(120)를 통해 출력할 실제현실 데이터로 입력하거나, 또는 상기 메모리부(130)에 저장되어 있거나 또는 상기 메모리부(130)로 실시간 저장되는 데이터를 가상현실 데이터를 표시하여 상기 출력부(120)를 통해 출력할 실제현실 데이터로 입력하거나, 또는 상기 통신부(125)를 통해 수신되는 데이터를 가상현실 데이터를 표시하여 상기 출력부(120)를 통해 출력할 실제현실 데이터로 입력한다.The real reality input unit 145 displays virtual reality data by inputting the data input through the camera unit, and inputs it as real reality data to be output through the output unit 120, or is stored in the memory unit 130 or Alternatively, the data stored in real time by the memory unit 130 is displayed as virtual reality data and input as real reality data to be output through the output unit 120, or data received through the communication unit 125 is virtual reality. Data is displayed and input as actual reality data to be output through the output unit 120.

상기 실제현실 데이터가 입력되면, 상기 객체 인식부(150)는 상기 실제현실 데이터를 판독하여 가상현실 데이터를 출력할 하나 이상의 객체를 인식한다.When the real reality data is input, the object recognition unit 150 reads the real reality data and recognizes one or more objects to output virtual reality data.

본 발명의 일 실시 방법에 따르면, 상기 객체 인식부(150)는 상기 실제현실 데이터를 판독하여 마커를 검출하고, 상기 마커가 검출된 위치를 가상현실 데이터를 출력할 객체로 인식할 수 있다. 여기서, 상기 마커는 미리 정의된 기호, 부호, 문양 중 어느 하나를 포함할 수 있다.According to an exemplary embodiment of the present invention, the object recognition unit 150 may read the actual reality data to detect a marker, and recognize a location where the marker is detected as an object to output virtual reality data. Here, the marker may include any one of predefined symbols, signs, and patterns.

본 발명의 다른 일 실시 방법에 따르면, 상기 객체 인식부(150)는 상기 실제현실 데이터를 판독하여 색상/채도 값을 추출하고, 상기 추출된 색상/채도 값을 판독하여 상기 색상/채도를 기준으로 구분되는 영역의 경계 선을 검출하고, 상기 검출된 경계선을 연결 및 조합하여 기 설정된 기하학 구조를 갖는 하나 이상의 객체 영역을 인식하고, 상기 객체 영역을 가상현실 데이터를 출력할 객체를 인식할 수 있다. 여기서, 상기 색상/채도 값은 RGB(Red, Green, Blue) 팔레트 값을 색상/채도로 변환하는 행렬식을 통해 추출될 수 있다.According to another exemplary embodiment of the present invention, the object recognition unit 150 reads the actual reality data to extract a color/saturation value, and reads the extracted color/saturation value based on the color/saturation. The boundary line of the divided area may be detected, and one or more object areas having a predetermined geometry may be recognized by connecting and combining the detected boundary lines, and the object area may recognize an object to output virtual reality data. Here, the color/saturation value may be extracted through a determinant that converts RGB (Red, Green, Blue) palette values to color/saturation.

본 발명의 또다른 일 실시 방법에 따르면, 상기 실제현실 데이터가 카메라부를 통해 실시간 입력되는 경우, 상기 객체 인식부(150)는 상기 센서부(115)와 카메라부의 시선 방향을 일치시킨 후, 상기 카메라부를 통해 입력되는 데이터의 좌표계와 상기 센서부(115)를 통해 센싱되는 센싱신호의 좌표계를 매칭하여 특정 센서신호가 검출되는 좌표 값을 가상현실 데이터를 출력할 객체로 인식할 수 있다. 또는 상기 실제현실 데이터에 객체 위치를 판별하기 위한 메타 데이터가 포함되거나 또는 링크된 경우, 상기 메타 데이터를 참조하여 상기 가상현실 데이터를 출력할 객체로 인식할 수 있다.According to another embodiment of the present invention, when the real-world data is input in real time through the camera unit, the object recognition unit 150 matches the eye directions of the sensor unit 115 and the camera unit, and then the camera By matching the coordinate system of the data input through the unit and the coordinate system of the sensing signal sensed through the sensor unit 115, a coordinate value at which a specific sensor signal is detected may be recognized as an object to output virtual reality data. Alternatively, when meta data for determining an object location is included or linked to the real reality data, the virtual reality data may be recognized as an object to be output by referring to the meta data.

상기 가상현실 결정부(155)는 상기 실제현실 데이터로부터 검출된 객체에 표시할 가상현실 데이터를 결정한다. 만약 상기 실제현실 데이터 상의 객체에 표시할 가사현실 데이터가 어느 하나의 가상현실 데이터로 고정되는 경우, 상기 가상현실 결정부(155)는 상기 고정된 상기 객체 인식부(150)를 통해 인식된 객체에 표시할 가상현실 데이터를 결정할 수 있다.The virtual reality determination unit 155 determines virtual reality data to be displayed on the object detected from the real reality data. If the housekeeping reality data to be displayed on the object on the real reality data is fixed as any one of the virtual reality data, the virtual reality determination unit 155 is attached to the object recognized through the fixed object recognition unit 150 You can decide which virtual reality data to display.

본 발명의 일 실시 방법에 따르면, 상기 객체가 마커를 통해 인식된 경우, 상기 가상현실 결정부(155)는 상기 마커 모양/형태/색상/구조를 판독하여 상기 객체에 표시할 가상현실 데이터를 결정할 수 있다. 만약 상기 마커에 상기 가상현실 데이터를 결정하기 위한 정보가 부호화되어 포함된 경우, 상기 가상현실 결정부(155)는 상기 객체 인식부(150)를 통해 인식된 마커에 포함된 부호화 정보를 인식 및 판독하여 상기 객체에 표시할 가상현실 데이터를 결정할 수 있다.According to an embodiment of the present invention, when the object is recognized through a marker, the virtual reality determination unit 155 reads the marker shape/shape/color/structure to determine virtual reality data to be displayed on the object. Can be. If information for determining the virtual reality data is encoded and included in the marker, the virtual reality determination unit 155 recognizes and reads encoding information included in the marker recognized through the object recognition unit 150. By determining the virtual reality data to be displayed on the object.

본 발명의 다른 일 실시 방법에 따르면, 상기 가상현실 결정부(155)는 상기 객체 인식부(150)를 통해 인식된 객체의 모양/형태/색상/구조를 판독하여 상기 객체에 표시할 가상현실 데이터를 결정할 수 있다. 또는 상기 실제현실 데이터에 상기 가상현실 데이터를 결정하기 위한 별도의 표시가 포함된 경우, 상기 표시를 판독하여 상기 객체 인식부(150)를 통해 인식된 객체에 표시할 가상현실 데이터를 결정할 수 있다.According to another embodiment of the present invention, the virtual reality determination unit 155 reads the shape/shape/color/structure of the object recognized through the object recognition unit 150 and displays the virtual reality data to be displayed on the object. Can decide. Alternatively, if a separate indication for determining the virtual reality data is included in the real reality data, the virtual reality data to be displayed on the object recognized through the object recognition unit 150 may be determined by reading the indication.

본 발명의 또다른 일 실시 방법에 따르면, 상기 실제현실 데이터가 메모리부(130)에 저장되어 있거나 또는 통신부(125)를 통해 수신되는 데이터이고, 상기 실제현실 데이터에 가상현실 데이터를 결정하기 위한 메타 데이터가 포함되거나 또는 링크된 경우, 상기 가상현실 결정부(155)는 상기 메타 데이터를 참조하여 상기 객체 인식부(150)를 통해 인식된 객체에 표시할 가상현실 데이터를 결정할 수 있다.According to another exemplary embodiment of the present invention, the real reality data is data stored in the memory unit 130 or received through the communication unit 125, and meta for determining virtual reality data in the real reality data. When data is included or linked, the virtual reality determination unit 155 may determine the virtual reality data to be displayed on the object recognized through the object recognition unit 150 by referring to the metadata.

상기 가상현실 입력부(160)는 메모리에 저장되어 있거나, 또는 통신망을 통해 수신되거나, 또는 실시간 생성되는 가상현실 데이터 중 상기 가상현실 결정부(155)를 통해 결정된 가상현실 데이터를 상기 실제현실 데이터의 객체에 표시할 가상현실 데이터로 입력한다.The virtual reality input unit 160 may store virtual reality data determined through the virtual reality determination unit 155 among virtual reality data stored in a memory, received through a communication network, or generated in real time. Enter the virtual reality data to be displayed on the screen.

도면1을 참조하면, 상기 증강현실 장치(100)는, 상기 위치 추적 센서(110)를 통해 사용자의 위치를 추적하여, 사용자가 증강현실 장치(100) 전면에 위치하는지 여부를 확인하는 사용자 위치 추적부(165)와, 상기 시선 추적 센서(105)를 통해 상기 사용자의 시선이 증강현실 장치(100)의 출력모듈을 응시하는지 여부를 확인하는 시선 확인부(170)와, 상기 사용자의 위치가 출력모듈의 전면(즉, 출력모듈을 통해 출력되는 증강현실 모델의 확인이 가능한 측면)에 위치하는 경우, 상기 사용자의 시선이 출력모듈을 응시하면, 증강현실 모델에 대한 그래픽 품질을 제어하여 고품질 그래픽을 제공하도록 제어하고, 상기 사용자의 시선이 출력모듈을 응시하지 않으면, 증강현실 모델에 대한 그래픽 품질을 제어하여 저품질 그래픽을 제공하도록 제어하는 증강현실 모델 제어부(175)와, 상기 증강현실 제어부를 통해 그래픽 품질이 제어된 증강현실 모델에 대한 가상현실 데이터를 상기 실제현실 데이터 상의 객체에 표시하여 상기 출력부(120)를 통해 출력하는 증강현실 출력부(180)를 구비한다.Referring to FIG. 1, the augmented reality device 100 tracks a user's position through the position tracking sensor 110 to track a user's position to determine whether the user is located in front of the augmented reality device 100 A gaze confirmation unit 170 for confirming whether the user's gaze gazes at the output module of the augmented reality device 100 through the gaze tracking sensor 105 and the user's location is output When located on the front of the module (that is, the side capable of confirming the augmented reality model output through the output module), when the user's gaze gazes at the output module, the graphic quality of the augmented reality model is controlled to control the high quality graphics. Augmented reality model control unit 175 for controlling to provide a low quality graphic by controlling the graphic quality for the augmented reality model and controlling the graphic quality for the augmented reality model if the user's gaze does not stare at the output module. And an augmented reality output unit 180 that displays virtual reality data for a quality-controlled augmented reality model on an object on the real reality data and outputs it through the output unit 120.

본 발명의 실시 방법에 따르면, 상기 사용자 위치 추적부(165), 시선 확인부(170), 증강현실 모델 제어부(175), 증강현실 출력부(180) 중 하나 이상의 구성부는 상기 제어부(140), 메모리부(130), 출력부(120), 센서부(115) 및 통신부(125)를 구비한 증강현실 장치(100)와 연결된 서버(또는 장치)에 구비될 수 있으며, 실시 방법에 따라 일부 구성요소 중 일부는 증강현실 장치(100)에 구비되고 나머지 구성부는 서버(또는 장치)에 구비될 수 있다.According to an exemplary embodiment of the present invention, one or more components of the user location tracking unit 165, the gaze confirmation unit 170, the augmented reality model control unit 175, and the augmented reality output unit 180 may include the control unit 140, It may be provided in a server (or device) connected to the augmented reality device 100 having a memory unit 130, an output unit 120, a sensor unit 115, and a communication unit 125, and some components may be provided according to an implementation method. Some of the elements may be provided in the augmented reality device 100 and the remaining components may be provided in the server (or device).

상기 사용자 위치 추적부(165)는 상기 위치 추적 센서(110)를 통해 상기 증강현실 장치(100)의 출력모듈을 통해 증강현실 모듈이 디스플레이 되는 방향을 기준으로 사용자가 전면에 위치하여 출력모듈을 통해 제공되는 증강현실 모듈 응시가 가능한지 여부를 확인한다.The user location tracking unit 165 is positioned on the front of the user based on the direction in which the augmented reality module is displayed through the output module of the augmented reality device 100 through the location tracking sensor 110 and through the output module Check whether the provided augmented reality module is available.

또는, 상기 카메라부를 통해 사용자 위치를 인식하여, 사용자가 전면에 위치하여 출력모듈을 통해 제공되는 증강현실 모델 응시가 가능한지 여부를 확인하는 것이 가능하다.Alternatively, it is possible to recognize whether a user can gaze at an augmented reality model provided through an output module by recognizing a user's location through the camera unit.

즉, 상기 위치 추적 센서(110)를 상기 카메라부를 통해 획득되는 사용자에 대한 이미지를 인식하여, 사용자의 위치를 확인한다.That is, the location tracking sensor 110 recognizes an image of a user acquired through the camera unit, and confirms the user's location.

상기 시선 확인부(170)는 상기 시선 추적 센서(105)를 통해 상기 사용자의 시선이 증강현실 장치(100)의 출력모듈을 응시하는지 주기적으로 확인한다.The gaze checker 170 periodically checks whether the user's gaze gazes at the output module of the augmented reality device 100 through the gaze tracking sensor 105.

또는, 상기 카메라부를 통해 사용자의 시선을 인식하여, 사용자의 시선이 증강현실 장치(100)의 출력모듈을 응시하는지 주기적으로 확인한다.Alternatively, the user's gaze is recognized through the camera unit to periodically check whether the user's gaze gazes at the output module of the augmented reality device 100.

여기서, 상기 사용자의 시선 확인 이외에, 상기 조작부(135)를 통해 입력되는 조작에 따라 증강현실 장치(100)를 응시하는지 여부를 입력(또는 선택)하는 것이 가능하다.Here, it is possible to input (or select) whether to gaze at the augmented reality device 100 according to an operation input through the manipulation unit 135 in addition to the user's gaze confirmation.

즉, 사용자가 터치스크린을 터치하거나, 또는 키 입력을 통해 특정 버튼을 입력하면, 증강현실 장치(100)를 응시하는 것으로 설정하여 고품질 그래픽을 제공하고, 그 이외의 경우는 저품질 그래픽을 제공하는 것이 가능하다.That is, when the user touches the touch screen or inputs a specific button through a key input, it is set to gaze the augmented reality device 100 to provide high-quality graphics, and otherwise provide low-quality graphics. It is possible.

상기 사용자의 시선 방향이 확인되면, 상기 증강현실 모델 제어부(175)는 상기 사용자의 위치가 출력모듈의 전면(즉, 출력모듈을 통해 출력되는 증강현실 모델의 확인이 가능한 측면)에 위치하는 경우, 상기 사용자의 시선이 출력모듈을 응시하면, 증강현실 모델에 대한 그래픽 품질을 제어하여 고품질 그래픽을 제공하도록 제어하고, 상기 사용자의 시선이 출력모듈을 응시하지 않으면, 증강현실 모델에 대한 그래픽 품질을 제어하여 저품질 그래픽을 제공하도록 제어한다.When the user's gaze direction is confirmed, the augmented reality model control unit 175, when the user's position is located on the front of the output module (that is, the side where the augmented reality model can be checked through the output module is visible), If the user's gaze gazes at the output module, the graphics quality for the augmented reality model is controlled to provide high-quality graphics, and if the user's gaze does not gaze at the output module, the graphics quality for the augmented reality model is controlled. Control to provide low quality graphics.

**

본 발명의 실시 방법에 따르면, 상기 증강현실 모델에 대한 그래픽 품질 제어는, 상기 출력모듈을 통해 출력되는 증강현실 모델에 품질조정 기준정보를 기반으로 품질을 조정한다.According to an embodiment of the present invention, graphic quality control for the augmented reality model adjusts quality based on quality adjustment reference information to the augmented reality model output through the output module.

예컨대, 증강현실 모델에 대한 품질조정 기준정보는, 제공되는 증강현실 모델이 네비게이션 서비스인 경우, 증강현실 모델을 통해 출력되는 건물 각각에 대한 상세도를 낮추거나, 중요정보를 제외한 나머지 정보를 출력되지 않도록 처리하거나, 또는 제공되는 그래픽에 대한 해상도를 조정하는 정보를 포함한다.For example, the quality adjustment reference information for the augmented reality model, if the provided augmented reality model is a navigation service, lowers the detail of each building output through the augmented reality model or does not output the rest of the information except important information. This includes information that prevents processing, or adjusts the resolution for the graphics provided.

본 발명의 다른 실시 방법에 따르면, 상기 증강현실 모델에 대한 그래픽 품질 제어는, 상기 출력모듈을 통해 출력되는 증강현실 모델에 대한 고품질 그래픽에 대응되는 가상현실 데이터와 저품질 그래픽에 대응되는 가상현실 데이터가 증강현실 장치(100) 내의 메모리 상에 저장된 경우, 각각에 그래픽 품질에 대응되는 가상현실 데이터를 선택적으로 추출하여, 상기 증강현실 모델에 대한 그래픽 품질을 제어한다.According to another embodiment of the present invention, the graphic quality control for the augmented reality model includes virtual reality data corresponding to high quality graphics and virtual reality data corresponding to low quality graphics for the augmented reality model output through the output module. When stored on the memory in the augmented reality device 100, virtual reality data corresponding to the graphic quality is selectively extracted to control graphic quality for the augmented reality model.

상기 출력될 증강현실 모델에 대한 그래픽 품질의 조정이 완료되어 증강현실 모델에 대한 그래픽이 생성(또는 추출)되면, 상기 증강현실 출력부(180)는 상기 생성(또는 추출)된 증강현실 모델에 대한 그래픽 데이터(즉, 상기 실제현실 입력부(145)를 통해 입력되는 실제현실 데이터 상의 객체에 상기 가상현실 입력부(160)를 통해 입력되는 가상현실 데이터를 표기한 데이터)를 상기 출력부(120)를 통해 출력되도록 처리한다.When the graphic quality adjustment for the augmented reality model to be output is completed and a graphic for the augmented reality model is generated (or extracted), the augmented reality output unit 180 may be configured for the generated (or extracted) augmented reality model. Graphic data (ie, data representing virtual reality data input through the virtual reality input unit 160 to an object on the real reality data input through the real reality input unit 145) through the output unit 120 It is processed to be output.

본 발명의 일 실시 방법에 따르면, 상기 상기 실제현실 데이터 상의 객체에 투명영역을 포함하는 가상현실 데이터를 중첩시켜 증강현실 데이터를 생성하되, 상기 증강현실 모델 제어부(175)를 통해 제어되는 그래픽 품질을 기반으로 생성(또는 추출)한 후, 상기 생성(또는 추출)된 증강현실 데이터를 상기 출력부(120)를 통해 출력하는 것이 가능하다.According to an exemplary embodiment of the present invention, augmented reality data is generated by superimposing virtual reality data including a transparent area on an object on the real reality data, but the graphic quality controlled by the augmented reality model controller 175 is controlled. After generating (or extracting) based, it is possible to output the generated (or extracted) augmented reality data through the output unit 120.

본 발명의 다른 일 실시 방법에 따르면, 상기 증강현실 출력부(180)는 실제현실 계층과 가상현실 계층을 포함하는 증강현실 데이터 포맷을 구성하되, 상기 증강현실 모델 제어부(175)를 통해 제어되는 그래픽 품질을 기반으로 생성(또는 추출)한 후, 상기 증강현실 데이터 포맷의 실제현실 계층에 상기 실제현실 데이터를 출력하고 상기 실제현실 데이터의 객체 위치에 대응하는 가상현실 계층에 가상현실 데이터를 출력하여 상기 출력부(120)를 통해 출력할 수 있다.According to another embodiment of the present invention, the augmented reality output unit 180 constitutes an augmented reality data format including a real reality layer and a virtual reality layer, but is controlled by the augmented reality model control unit 175 After generating (or extracting) based on the quality, the real reality data is output to the real reality layer of the augmented reality data format, and the virtual reality data is output to the virtual reality layer corresponding to the object location of the real reality data. It can be output through the output unit 120.

본 발명의 또다른 일 실시 방법에 따르면, 상기 출력부(120)가 투명 디스플레이를 포함하는 경우, 상기 증강현실 출력부(180)는 상기 객체 인식부(150)를 통해 결정된 투명 디스플레이 상의 객체 위치에 상기 가상현실 데이터만 표시하여 출력하는 것이 가능하며, 상기 가상현실 데이터에 대한 상기 증강현실 모델 제어부(175)를 통해 제어되는 그래픽 품질을 기반으로 생성(또는 추출)하여 출력한다.According to another exemplary embodiment of the present invention, when the output unit 120 includes a transparent display, the augmented reality output unit 180 is positioned at an object location on the transparent display determined through the object recognition unit 150. It is possible to display and output only the virtual reality data, and generate (or extract) the virtual reality data based on graphic quality controlled through the augmented reality model control unit 175 and output the virtual reality data.

도면2는 본 발명의 실시 방법에 따른 사용자 위치와 시선을 추적하여 증강현실 장치(100)를 통해 출력되는 증강현실 모델에 대한 품질을 제어하는 과정을 도시한 도면이다.FIG. 2 is a diagram illustrating a process of controlling the quality of an augmented reality model output through the augmented reality device 100 by tracking a user's location and gaze according to an embodiment of the present invention.

보다 상세하게 본 도면2는 상기 도면1에 도시된 증강현실 장치(100)에 구비된 센서를 통해 사용자의 위치 및 사용자의 시선을 기반으로 증강현실 모델에 대한 그래픽 품질을 제어하는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면2를 참조 및/또는 변형하여 사용자 위치와 시선을 추적하여 증강현실 장치(100)를 통해 출력되는 증강현실 모델에 대한 품질을 제어하는 과정에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면2에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.In more detail, FIG. 2 shows a process of controlling the graphic quality of the augmented reality model based on the user's location and the user's gaze through the sensor provided in the augmented reality device 100 shown in FIG. 1. , If the person having ordinary knowledge in the technical field to which the present invention belongs, refer to and/or modify this figure 2 to track the user's location and gaze to check the quality of the augmented reality model output through the augmented reality device 100. Various implementation methods (for example, some steps are omitted or an order is changed) may be inferred for the control process, but the present invention is made up of all the inferred implementation methods, and is illustrated in FIG. 2. The technical features are not limited only by the illustrated implementation method.

도면2를 참조하면, 증강현실 장치(100)에서 사용자 위치를 확인하여, 사용자가 증강현실 장치(100)를 통해 제공되는 증강현실 모델 확인이 가능한 위치인지 여부를 확인한다(x00).Referring to FIG. 2, the user location is checked in the augmented reality device 100 to determine whether the user can check the augmented reality model provided through the augmented reality device 100 (x00).

즉, 사용자가 증강현실 장치(100)에서 출력되는 증강현실 모델 확인이 가능한 위치(즉, 증강현실 장치(100)에 구비된 출력모듈을 통해 출력되는 전면에 위치) 상에 사용자가 위치하고 있는지 여부를 확인한다.That is, whether the user is located on a location where the user can check the augmented reality model output from the augmented reality device 100 (that is, located on the front side output through the output module provided in the augmented reality device 100). To confirm.

만약, 상기 사용자가 증강현실 장치(100)를 통해 제공되는 증강현실 모델 확인이 가능한 위치로 확인되면(x05), 상기 증강현실 장치(100)는 사용자의 시선이 출력중인 증강현실 모델을 응시하는지 여부를 확인한다(x10).If the user is confirmed to be a location where the augmented reality model provided through the augmented reality device 100 can be checked (x05), the augmented reality device 100 determines whether the user's gaze gazes at the augmented reality model being output. Check (x10).

만약, 상기 사용자의 시선이 출력중인 증강현실 모델을 응시하지 않는 것으로 확인되면(x15), 증강현실 장치(100)는 출력될 증강현실 모델을 저품질 그래픽으로 제어하고(x20), 상기 제어에 따라 저품질 그래픽으로 설정된 증강현실 모델에 대한 그래픽을 생성(또는 추출)하여(x30), 출력모듈을 통해 출력되도록 처리한다(x35).If it is confirmed that the user's gaze does not stare at the augmented reality model being output (x15), the augmented reality device 100 controls the augmented reality model to be output with low quality graphics (x20), and the low quality according to the control. The graphic for the augmented reality model set as a graphic is generated (or extracted) (x30), and processed to be output through the output module (x35).

예컨대, 증강현실 모델에 대한 품질조정 기준정보는, 제공되는 증강현실 모델이 네비게이션 서비스인 경우, 증강현실 모델을 통해 출력되는 건물 각각에 대한 상세도를 낮추거나, 중요정보를 제외한 나머지 정보를 출력되지 않도록 처리하거나, 또는 제공되는 그래픽에 대한 해상도를 조정하는 정보를 포함한다.For example, the quality adjustment reference information for the augmented reality model, if the provided augmented reality model is a navigation service, lowers the detail of each building output through the augmented reality model or does not output the rest of the information except important information. This includes information that prevents processing, or adjusts the resolution for the graphics provided.

반면, 상기 사용자의 시선이 출력중인 증강현실 모델을 응시하는 것으로 확인되면(x15), 증강현실 장치(100)는 출력될 증강현실 모델을 고품질 그래픽으로 제어하고(x25), 상기 제어에 따라 고품질 그래픽으로 설정된 증강현실 모델에 대한 그래픽을 생성(또는 추출)하여(x30), 출력모듈을 통해 출력되도록 처리한다(x35).On the other hand, if it is confirmed that the user's gaze gazes at the augmented reality model being output (x15), the augmented reality device 100 controls the augmented reality model to be output with high quality graphics (x25), and the high quality graphics according to the control. Graphics are generated (or extracted) for the augmented reality model set to (x30), and processed to be output through the output module (x35).

도면3과 도면4는 본 발명의 실시 방법에 따라 증강현실 장치(100)를 통해 증강현실 모델을 제공하는 실시예를 도시한 도면이다.3 and 4 are diagrams showing an embodiment of providing an augmented reality model through the augmented reality device 100 according to an embodiment of the present invention.

구체적으로 도면3은 사용자의 위치가 증강현실 장치(100)를 통해 출력중인 증강현실 모델 확인이 가능한 위치인지 여부를 확인하고, 사용자의 시선을 확인하여, 사용자가 출력중인 증강현실 모델을 응시하는 경우에 대한 예시 화면에 대한 것이고, 도면4는 사용자의 위치가 증강현실 장치(100)를 통해 출력중인 증강현실 모델 확인이 불가능한 위치이거나, 또는 출력중인 증강현실 모델을 응시하지 않는 경우에 대한 예시 화면에 대한 것이다.Specifically, FIG. 3 checks whether the user's location is a location where the augmented reality model being output through the augmented reality device 100 can be checked, checks the user's gaze, and when the user gazes at the augmented reality model being output. Figure 4 is for an example screen for a case where the user's location is a location where it is impossible to check the augmented reality model being output through the augmented reality device 100, or when the augmented reality model being output is not stared. It is about.

즉, 차량운행에 편의를 주는 네비게이션 장치는 장치의 특성상 운전하는 내내 운전자(즉, 사용자)가 네비게이션 안내 화면(즉, 증강현실 모델)을 응시하기 보다, 음성안내를 위주로 운전하게 되며, 이 경우 내비게이션 안내를 위해 사용자가 응시하지 않는 상태에서도 고품질의 그래픽을 제공하는 것은, 네비게이션 장치에 대한 자원의 낭비가 된다.That is, a navigation device that provides convenience for driving a vehicle is driven mainly by voice guidance rather than by a driver (ie, a user) gazing at a navigation guide screen (ie, augmented reality model) throughout driving due to the characteristics of the device, in this case navigation. Providing high quality graphics even when the user does not stare for guidance is a waste of resources for the navigation device.

또한, 차량 운전자(즉, 사용자)가 네비게이션 화면을 응시하지 않을 경우, 네비게이션 화면을 통해 출력되는 정보는 사실상 불필요한 정보가 된다.In addition, when the vehicle driver (ie, the user) does not stare at the navigation screen, the information output through the navigation screen becomes substantially unnecessary information.

이러한 상황에 네비게이션 화면을 통해 제공되는 그래픽 품질을 제어함으로써, 증강현실 장치(100)의 자원에 대한 효과적인 활용이 가능해지고, 네비게이션 장치의 동작을 위해 불필요하게 소모되는 전력을 줄이는 것이 가능하다.In this situation, by controlling the graphic quality provided through the navigation screen, it is possible to effectively utilize the resources of the augmented reality device 100, and it is possible to reduce power that is unnecessarily consumed for the operation of the navigation device.

도면3과 도면4를 참조하면, 네비게이션 장치(즉, 증강현실 장치(100))를 통해 증강현실을 이용한 네비게이션 서비스를 예시로 표현한 것으로서, 도로상의 방향 표시 정보, 주위 건물들에 대한 정보를 3D기반의 증강현실 모델로 표시하고 있으며, 차량의 이동 방향에 따라 계속적으로 주변을 인식하여 증강현실 모델이 생성/출력된다.Referring to FIGS. 3 and 4, as a navigation service using augmented reality through a navigation device (ie, augmented reality device 100) as an example, direction indication information on a road and information about surrounding buildings are 3D based. Is displayed as an augmented reality model, and the augmented reality model is generated/output by continuously recognizing surroundings according to the moving direction of the vehicle.

여기서, 일반적으로 네비게이션 장치(즉, 증강현실 장체)를 이용하는 운전 상황에서, 사용자는 주로 전방의 실제 교통상황에 집중하게 되며, 네비게이션 장치를 통해 출력되는 화면을 보는 경우는, 특별한 경우(예컨대, 음성안내로 인식하기에 난해하고 복잡한 돌로 등의 경우) 내지 목적지에 근접하거나 도착한 후, 화면을 응시하는 행동 패턴을 보이는 경우가 대부분이며, 이러한 네비게이션 서비스의 특성 상 자동차로 주행 중이거나, 사용자가 이동할 때 새로운 모델을 생성해야 하는 데이터 양이 늘어나게 되는 특징이 있어, 빠른 속도로 이동 내지 주행할 경우 제공해야 할 많은 정보의 처리 및 3D 모델 생성에 많은 부하가 따르게 된다.Here, in general, in a driving situation using a navigation device (ie, augmented reality), the user mainly focuses on the actual traffic situation in front, and when viewing a screen output through the navigation device, a special case (eg, voice) It is difficult to recognize it as a guide, and it is most likely to show a behavior pattern of staring at the screen after approaching or arriving at a destination or a complex stone road. There is a feature that increases the amount of data to create a new model, so when moving or driving at a high speed, a lot of information is required to process and 3D model generation is required.

이러한 이유로, 증강현실 장치(100)의 카메라(또는 각종 센서)를 이용해 운전자(즉, 사용자)의 시선을 트래킹하여 증강현실 모델의 응시 여부 감지를 통해, 또는 사용자의 별도로 버튼 조작을 통해, 저품질 또는 고품질 그래픽 모델을 선택적으로 제공하여, 일반적인 성능을 가진 증강현실 장치(100)에서 연산처리에 대한 부하를 제거한다.For this reason, the gaze of the driver (ie, the user) is tracked using the camera (or various sensors) of the augmented reality device 100 to detect whether the augmented reality model is staring, or through a separate button manipulation by the user, low quality or By selectively providing a high-quality graphic model, the augmented reality device 100 having a general performance removes the load on the computational processing.

100 : 증강현실 장치 105 : 시선 추적 센서
110 : 위치 추적 센서 115 : 센서부
120 : 출력부 125 : 통신부
130 : 메모리부 135 : 조작부
140 : 제어부 145 : 실제현실 입력부
150 : 객체 인식부 155 : 가상현실 결정부
160 : 가상현실 입력부 165 : 사용자 위치 추적부
170 : 시선 확인부 175 : 증강현실 모델 제어부
180 : 증강현실 출력부100: augmented reality device 105: eye tracking sensor
110: position tracking sensor 115: sensor unit
120: output unit 125: communication unit
130: memory unit 135: operation unit
140: control unit 145: real-life input unit
150: object recognition unit 155: virtual reality determination unit
160: virtual reality input unit 165: user location tracking unit
170: gaze confirmation unit 175: augmented reality model control unit
180: augmented reality output

Claims (2)

실제현실 데이터 상의 지정된 영역에 가상 데이터를 중첩 표시하는 증강현실 모델을 출력하는 출력부와 사용자를 추적하는 하나 이상의 추적 센서를 구비하여 사용자가 휴대 가능한 휴대형 증강현실장치를 통해 실행되는 방법에 있어서,
상기 추적 센서를 통해 사용자를 추적하여 상기 사용자의 안면 방향이 상기 출력부를 지향한 상태에서 상기 사용자의 시선 방향이 상기 출력부를 통해 출력 중인 실제현실 데이터 상의 지정된 영역에 중첩 출력된 특정한 증강현실 모델을 응시하는지 확인하는 제1 단계; 및
상기 사용자의 안면 방향이 상기 출력부를 지향한 상태에서 상기 사용자의 시선 방향이 상기 출력부를 통해 출력 중인 특정한 증강현실 모델을 응시한 경우 상기 출력부를 통해 지정된 품질의 증강현실 모델을 출력하도록 제어하는 제2 단계;를 포함하는 적응형 증강현실 제공 방법.
A method for executing through a portable augmented reality device that is portable by a user having an output unit for outputting an augmented reality model that superimposes and displays virtual data on a designated area on the real reality data, and one or more tracking sensors for tracking the user,
By tracking the user through the tracking sensor, while the user's face direction is directed to the output unit, the gaze direction of the user gazes at a specific augmented reality model superimposed on a designated area on the actual reality data being output through the output unit. A first step of checking whether or not; And
The second control to output an augmented reality model of a specified quality through the output unit when the user's face direction gazes at a specific augmented reality model being output through the output unit while the user's face direction is directed to the output unit. Step; Adaptive augmented reality providing method comprising a.
제 1항에 있어서, 상기 제2 단계는,
상기 사용자의 안면 방향이 상기 출력부를 지향하지 않거나 상기 사용자의 시선 방향이 상기 출력부를 통해 출력 중인 특정한 증강현실 모델을 응시하지 않는 경우 상기 출력부를 통해 중첩 출력 중인 증강현실 모델의 품질의 증강현실 모델의 상세도를 낮추도록 제어하거나 중요정보를 제외한 나머지 정보를 출력하지 않도록 제어하는 단계를 더 포함하는 적응형 증강현실 제공 방법.

The method of claim 1, wherein the second step,
If the user's face direction does not point to the output unit or the user's gaze direction does not stare at a specific augmented reality model being output through the output unit, the quality of the augmented reality model of the augmented reality model being outputted through the output unit is superimposed. A method of providing adaptive augmented reality, further comprising controlling to lower the detail or controlling not to output information other than important information.

Images