KR101691564B1 - Method for Providing Augmented Reality by using Tracking Eyesight - Google Patents
Method for Providing Augmented Reality by using Tracking Eyesight Download PDFInfo
- Publication number
- KR101691564B1 KR101691564B1 KR1020100055766A KR20100055766A KR101691564B1 KR 101691564 B1 KR101691564 B1 KR 101691564B1 KR 1020100055766 A KR1020100055766 A KR 1020100055766A KR 20100055766 A KR20100055766 A KR 20100055766A KR 101691564 B1 KR101691564 B1 KR 101691564B1
- Authority
- KR
- South Korea
- Prior art keywords
- user
- transparent display
- display
- augmented reality
- tracking
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 발명은 시선방향 추적을 이용한 증강현실 제공 방법에 관한 것으로서, 투명 디스플레이와 연결되고 사용자의 육안에 대한 시선 추적 센서를 구비한 증강현실장치를 통해 실행되는 방법에 있어서, 상기 투명 디스플레이의 면을 x-y축으로 하고 상기 투명 디스플레이 면과 수직 방향을 z축으로 하는 3차원 좌표계를 구성하고, 상기 3차원 좌표계 상의 원점을 기준으로 상기 투명 디스플레이를 바라보는 사용자의 육안에서 상기 투명 디스플레이 너머 3차원 실제 공간에 위치한 하나 이상의 객체에 대한 객체 위치 좌표 값을 확인하고, 상기 시선 추적 센서를 통해 사용자의 시선이 투명 디스플레이를 향하는지 확인하고, 상기 사용자의 시선이 투명 디스플레이를 향하는 경우 상기 시선 추적 센서를 통해 상기 투명 디스플레이 너머 3차원 실제 공간을 향하는 상기 사용자의 시선방향을 추적하고, 상기 추적된 시선방향의 연장선과 상기 객체 위치 좌표 값을 비교하여 상기 시선방향의 연장선과 만나거나 기 설정된 거리 이내에 존재하는 n(n≥1)개의 객체에 대한 객체 위치 좌표 값을 확인하고, 상기 n개의 객체 위치 좌표 값과 상기 사용자의 육안 위치를 연결한 직선이 상기 투명 디스플레이와 만나는 n개의 디스플레이 좌표 값을 산출하며, 상기 n개의 디스플레이 좌표 값에 상기 n개의 객체와 연관된 가상현실 데이터를 출력한다.The present invention relates to a method of providing an augmented reality using a visual direction tracking method, the method being implemented through an augmented reality device connected to a transparent display and having a visual track sensor for a user's visual, Dimensional coordinate system in which the transparent display surface and the transparent display surface are arranged in a three-dimensional coordinate system in which the transparent display surface and the transparent display surface are in a z-axis, Wherein the controller is further configured to determine an object position coordinate value for at least one object located on the display and to determine whether the user's line of sight is pointing to the transparent display through the line- Beyond Display to 3D Real Space (N > = 1) objects existing within a predetermined distance or an extension line of the gaze direction by comparing the extension line of the tracked gaze direction and the object position coordinate value, And calculates n display coordinate values where a straight line connecting the n object position coordinate values and the user's visual position with the transparent display is calculated, And outputs the virtual reality data associated with the virtual reality data.
Description
본 발명은 투명 디스플레이와 연결되고 사용자의 육안에 대한 시선 추적 센서를 구비한 증강현실장치를 통해 실행되는 방법에 있어서, 상기 투명 디스플레이의 면을 x-y축으로 하고 상기 투명 디스플레이 면과 수직 방향을 z축으로 하는 3차원 좌표계를 구성하고, 상기 3차원 좌표계 상의 원점을 기준으로 상기 투명 디스플레이를 바라보는 사용자의 육안에서 상기 투명 디스플레이 너머 3차원 실제 공간에 위치한 하나 이상의 객체에 대한 객체 위치 좌표 값을 확인하고, 상기 시선 추적 센서를 통해 사용자의 시선이 투명 디스플레이를 향하는지 확인하고, 상기 사용자의 시선이 투명 디스플레이를 향하는 경우 상기 시선 추적 센서를 통해 상기 투명 디스플레이 너머 3차원 실제 공간을 향하는 상기 사용자의 시선방향을 추적하고, 상기 추적된 시선방향의 연장선과 상기 객체 위치 좌표 값을 비교하여 상기 시선방향의 연장선과 만나거나 기 설정된 거리 이내에 존재하는 n(n≥1)개의 객체에 대한 객체 위치 좌표 값을 확인하고, 상기 n개의 객체 위치 좌표 값과 상기 사용자의 육안 위치를 연결한 직선이 상기 투명 디스플레이와 만나는 n개의 디스플레이 좌표 값을 산출하며, 상기 n개의 디스플레이 좌표 값에 상기 n개의 객체와 연관된 가상현실 데이터를 출력하는 시선방향 추적을 이용한 증강현실 제공 방법에 관한 것이다.The present invention relates to an improved augmented reality apparatus, which is connected to a transparent display and has a line-of-sight sensor for the user's eyes, the method comprising the steps of: Dimensional coordinates of the at least one object located in the three-dimensional real space beyond the transparent display in the user's eyes looking at the transparent display with respect to the origin on the three-dimensional coordinate system, The user's sight line is directed to the transparent display through the line-of-sight sensor, and if the user's line of sight is directed to the transparent display, , And the tracked gaze direction (N > = 1) objects existing within a preset distance by comparing the extension line with the object position coordinate value and checking an object position coordinate value of n (n > = 1) Wherein the virtual coordinate system is configured to calculate n display coordinate values where a straight line connecting the visual position of the user meets the transparent display and output virtual reality data associated with the n display coordinate values, And a method of providing the same.
디스플레이 장치를 통해 표시되는 현실은 카메라를 통해 실제 세계를 촬영한 실제현실(Full Reality)과 실제 세계에는 존재하지 않으나 컴퓨터를 통해 만들어진 가상 세계를 표현하는 가상현실(Virtual Reality)로 나뉘며, SF(Science Fiction) 영화와 같이 미리 정해진 장면 시나리오에 따라 블루스크린 앞에서 실제현실을 촬영하고 여기에 가상현실을 조합한 크로마키현실(Chroma-Key Reality)이 존재하며, 크로마키현실은 분류 상 가상현실에 속한다.
The reality displayed through the display device is divided into a real reality (real reality) shot through a camera and a virtual reality (virtual reality) that does not exist in the real world but represents a virtual world created through a computer. Fiction) There is Chroma-Key Reality, which is a combination of virtual reality and actual reality shot in front of blue screen according to predetermined scenarios such as movie. Chroma-key reality belongs to virtual reality in classification.
최근 정보 통신 지속적인 기술의 발전으로 실제현실 상의 객체에 실시간으로 가상현실 데이터를 표시하는 증강현실(Augmented Reality)이 제안되었다. 증강현실은 SF영화와 같이 미리 정해진 장면 시나리오가 없다는 점, 실제현실을 블루스크린 앞에서 촬영하지 않는 점에서 크로마키현실과 구분된다.
Recently, the Augmented Reality which displays real-time virtual reality data on real-world objects by the progress of continuous information technology has been proposed. The augmented reality is distinguished from the reality of chroma key in that there is no predefined scene scenario like SF movie and reality reality is not shot in front of blue screen.
상기 증강현실에서 실제현실 상에 가상현실 데이터를 표시할 객체를 결정하는 방법으로는, 실제현실에 마커(Marker)를 표시한 후 상기 마커를 인식하여 상기 마커 상에 가상현실 데이터를 표시하는 마커 방식 증강현실과, 실제현실에 마커를 표시하지 않고 실제현실 상의 객체를 직접 인식하여 가상현실 데이터를 표시하는 마커리스(Markerless) 증강현실이 존재한다. 현재 마커 방식 증강현실은 각각의 마커를 이용하여 몇 가지 시범 서비스가 제공되고 있으나 마커 구성에 대한 표준화가 전혀 존재하지 않으며, 마커리스 증강현실은 스튜디오에서 미리 정해진 객체를 촬영한 실제현실을 이용하는 경우를 제외하고는 객체 인식의 불안정성으로 인해 시범되지 못하고 있다.
As a method of determining an object to display virtual reality data on an actual reality in the augmented reality, there is a method of displaying a marker on an actual reality, then recognizing the marker and displaying a virtual reality data on the marker There are augmented reality and a markerless augmented reality in which virtual reality data is displayed by directly recognizing an actual real object without displaying a marker in actual reality. Currently, a number of trial services are provided using each marker, but there is no standardization of the marker configuration at all. Markerless augmented reality is a case in which realistic reality in which a predetermined object is photographed in a studio is used But it is not demonstrated due to the instability of object recognition.
또한, 상기 증강현실에서 실제현실에 가상현실 데이터를 표시하는 방법으로는, 카메라를 통해 촬영되어 저장매체에 저장된 실제현실로부터 마커/마커리스 방식으로 객체를 인식하고 상기 인식된 객체 상에 가상현실 데이터를 표시하는 방법과, 카메라를 통해 실시간 촬영되는 실제현실로부터 마커/마커리스 방식으로 객체를 인식하고 상기 인식된 객체 상에 가상현실 데이터를 표시하는 방법이 존재하며, 상술된 방법 이외에 카메라를 통해 실제현실을 촬영하지 않고 인간의 눈이 그 너머의 실제현실을 바라보는 투명한 물건(예컨대, 안경, 고글 등)을 투명 디스플레이로 이용하고 센서 기술을 통해 상기 인간의 눈이 투명 디스플레이 너머의 객체를 인식하여 상기 투명 디스플레이 상에 가상현실 데이터를 표시하는 방법이 이론적으로 존재한다.
In addition, as a method of displaying virtual reality data in an actual reality in the augmented reality, there is a method of recognizing an object in a marker / markerless manner from an actual reality photographed through a camera and stored in a storage medium, There is a method of displaying an object in a marker / markerless manner from an actual reality photographed in real time through a camera and displaying virtual reality data on the recognized object. In addition to the above-mentioned method, Using transparent objects (such as glasses, goggles, etc.) that look at the actual reality beyond the eyes of the human being as a transparent display without photographing the reality and the human eye recognizing the objects beyond the transparent display There is theoretically a method for displaying virtual reality data on the transparent display.
한편 상기 증강현실은 건물의 유리창 또는 자동차 운전석 전면의 유리창을 투명 디스플레이로 사용하여 상기 투명 디스플레이 건너편의 객체와 연관된 가상현실 데이터를 상기 투명 디스플레이 상에 표시할 수 있다. 그런데, 상기와 같은 투명 디스플레이는 사용자의 위치가 고정되어 있지 않기 때문에 안경, 고글과 달리 사용자의 시선만 추적해서는 투명 디스플레이 건너편의 객체와 사용자의 시선방향을 일치시켜 출력할 수 없는 난해한 문제점을 지니고 있다.
On the other hand, the augmented reality can display virtual reality data associated with objects on the opposite side of the transparent display on the transparent display, using a glass window of a building or a glass window on the front of a car driver as a transparent display. However, since the position of the user is not fixed, the transparent display has a difficult problem in that it can not output an object of the user opposite to the transparent display by aligning the direction of the user's gaze while tracking the gaze of the user unlike glasses or goggles .
상기와 같은 문제점을 해소하기 위한 본 발명의 목적은, 투명 디스플레이와 연결되고 사용자의 육안에 대한 시선 추적 센서를 구비한 증강현실장치를 통해 실행되는 방법에 있어서, 상기 투명 디스플레이의 면을 x-y축으로 하고 상기 투명 디스플레이 면과 수직 방향을 z축으로 하는 3차원 좌표계를 구성하는 제1 단계와 상기 3차원 좌표계 상의 원점을 기준으로 상기 투명 디스플레이를 바라보는 사용자의 육안에서 상기 투명 디스플레이 너머 3차원 실제 공간에 위치한 하나 이상의 객체에 대한 객체 위치 좌표 값을 확인하는 제2 단계와 상기 시선 추적 센서를 통해 사용자의 시선이 투명 디스플레이를 향하는지 확인하는 제3 단계와 상기 사용자의 시선이 투명 디스플레이를 향하는 경우 상기 시선 추적 센서를 통해 상기 투명 디스플레이 너머 3차원 실제 공간을 향하는 상기 사용자의 시선방향을 추적하는 제4 단계와 상기 추적된 시선방향의 연장선과 상기 객체 위치 좌표 값을 비교하여 상기 시선방향의 연장선과 만나거나 기 설정된 거리 이내에 존재하는 n(n≥1)개의 객체에 대한 객체 위치 좌표 값을 확인하는 제5 단계와 상기 n개의 객체 위치 좌표 값과 상기 사용자의 육안 위치를 연결한 직선이 상기 투명 디스플레이와 만나는 n개의 디스플레이 좌표 값을 산출하는 제6 단계 및 상기 n개의 디스플레이 좌표 값에 상기 n개의 객체와 연관된 가상현실 데이터를 출력하는 제7 단계를 포함하는 시선방향 추적을 이용한 증강현실 제공 방법을 제공함에 있다.In order to solve the above problems, an object of the present invention is to provide an augmented reality apparatus, which is connected to a transparent display and has a visual tracking sensor for the user's eyes, Dimensional coordinate system having a z-axis perpendicular to the transparent display surface, and a first step of constructing a three-dimensional coordinate system having a z-axis perpendicular to the transparent display surface, A second step of checking an object position coordinate value of at least one object located in the transparent display, a third step of checking whether the user's line of sight is directed to the transparent display through the line-of-sight sensor, A three-dimensional room beyond the transparent display through a line- A fourth step of tracking the direction of the user's gaze toward the space and comparing the extended line of the tracked gaze direction and the coordinates of the object position coordinate to find an extension of the gaze direction, A fifth step of determining an object position coordinate value for the n objects, and a sixth step of calculating n display coordinate values in which a straight line connecting the n object position coordinates and the eye position of the user meets the transparent display, And a seventh step of outputting virtual reality data associated with the n objects to the n display coordinate values. The present invention provides a method of providing an augmented reality using visual direction tracking.
본 발명에 따른 시선방향 추적을 이용한 증강현실 제공 방법은, 투명 디스플레이와 연결되고 사용자의 육안에 대한 시선 추적 센서를 구비한 증강현실장치를 통해 실행되는 방법에 있어서, 상기 투명 디스플레이의 면을 x-y축으로 하고 상기 투명 디스플레이 면과 수직 방향을 z축으로 하는 3차원 좌표계를 구성하는 제1 단계와 상기 3차원 좌표계 상의 원점을 기준으로 상기 투명 디스플레이를 바라보는 사용자의 육안에서 상기 투명 디스플레이 너머 3차원 실제 공간에 위치한 하나 이상의 객체에 대한 객체 위치 좌표 값을 확인하는 제2 단계와 상기 시선 추적 센서를 통해 사용자의 시선이 투명 디스플레이를 향하는지 확인하는 제3 단계와 상기 사용자의 시선이 투명 디스플레이를 향하는 경우 상기 시선 추적 센서를 통해 상기 투명 디스플레이 너머 3차원 실제 공간을 향하는 상기 사용자의 시선방향을 추적하는 제4 단계와 상기 추적된 시선방향의 연장선과 상기 객체 위치 좌표 값을 비교하여 상기 시선방향의 연장선과 만나거나 기 설정된 거리 이내에 존재하는 n(n≥1)개의 객체에 대한 객체 위치 좌표 값을 확인하는 제5 단계와 상기 n개의 객체 위치 좌표 값과 상기 사용자의 육안 위치를 연결한 직선이 상기 투명 디스플레이와 만나는 n개의 디스플레이 좌표 값을 산출하는 제6 단계 및 상기 n개의 디스플레이 좌표 값에 상기 n개의 객체와 연관된 가상현실 데이터를 출력하는 제7 단계를 포함하는 것을 특징으로 한다.
본 발명에 따른 시선방향 추적을 이용한 증강현실 제공 방법에 있어서, 상기 증강현실장치는, 사용자의 위치를 추적하는 위치 추적 센서를 더 구비하고, 상기 제2 단계는, 상기 위치 추적 센서를 통해 상기 3차원 좌표계 상의 원점을 기준으로 상기 3차원 좌표계에 대응하는 공간에 속한 사용자의 위치를 추적하여 사용자 위치 좌표 값을 산출하는 단계를 더 포함하고, 상기 제4 단계는, 상기 산출된 사용자 위치 좌표 값을 기준으로 상기 투명 디스플레이 너머 공간 밖을 향하는 상기 사용자의 시선방향을 추적하는 것을 특징으로 한다.
본 발명에 따른 시선방향 추적을 이용한 증강현실 제공 방법에 있어서, 상기 제6 단계는, 상기 n개의 디스플레이 좌표 값을 기준으로 상기 투명 디스플레이 상에 공간 밖의 객체에 대한 가상현실 데이터를 표시할 증강현실 표시 대상 좌표 영역을 산출하는 단계를 더 포함하여 이루어지는 것을 특징으로 한다.
본 발명에 따른 시선방향 추적을 이용한 증강현실 제공 방법에 있어서, 상기 증강현실 표시 대상 좌표 영역은 상기 투명 디스플레이 상에 먼저 산출된 제2의 증강현실 표시 대상 좌표 영역과 중첩되지 않도록 산출되는 것을 특징으로 한다.
본 발명에 따른 위치와 시선방향을 추적하는 증강현실 장치는, 사용자가 위치한 공간에 고정된 투명 디스플레이와 연결되며, 사용자에 대한 위치 추적 센서와 시선 추적 센서를 구비하여 상기 투명 디스플레이에 공간 밖의 객체와 연관된 가상현실 데이터를 표시하도록 시선방향을 추적하는 증강현실 장치에 있어서, 상기 투명 디스플레이 면을 x-y축으로 하고, 상기 투명 디스플레이 면과 수직 방향을 z축으로 하는 3차원 좌표계를 구성하는 좌표계 구성부와, 상기 3차원 좌표계 상의 원점을 기준으로 상기 투명 디스플레이가 설치된 공간 안에서 상기 투명 디스플레이 너머 공간 밖에 위치한 하나 이상의 객체에 대한 객체 위치 좌표 값을 저장하는 객체 위치 저장부와, 상기 위치 추적 센서를 통해 상기 3차원 좌표계 상의 원점을 기준으로 공간 내 위치한 사용자의 위치를 추적하여 사용자 위치 좌표 값을 산출하는 사용자 위치 추적부와, 상기 시선 추적 센서를 통해 상기 사용자의 시선이 투명 디스플레이를 향하는지 확인하는 시선 확인부와, 상기 사용자의 시선이 상기 투명 디스플레이를 향하면, 상기 시선 추적 센서를 통해 상기 사용자의 시선방향을 추적하는 시선방향 추적부와, 상기 시선방향의 연장선이 상기 객체 위치 좌표 값과 기 설정된 거리 이내에 위치하는 n(n>=1)개의 객체에 대한 객체 위치 좌표 값을 확인하는 객체 확인부와, 상기 n개의 객체 위치 좌표 값과 사용자 위치 좌표 값을 연결한 직선이 상기 투명 디스플레이와 만나는 n개의 디스플레이 좌표 값을 산출하는 디스플레이 좌표 산출부와, 상기 n개의 디스플레이 좌표 값에 n개의 객체와 연관된 가상현실 데이터를 출력하는 증강현실 출력부를 구비한다.A method of providing an augmented reality using eye direction tracking according to the present invention is implemented through an augmented reality device connected to a transparent display and having a visual track sensor for the user's eyes, Dimensional coordinate system having a z-axis perpendicular to the transparent display surface and a first step of forming a three-dimensional coordinate system having a z-axis perpendicular to the transparent display surface, A second step of confirming an object position coordinate value of at least one object located in the space, a third step of checking whether the user's gaze is directed to the transparent display through the gaze tracking sensor, And a second display unit A fourth step of tracking the direction of the user's gaze toward the original real space, and a fourth step of comparing the extended position of the traced gaze direction with the coordinates of the object position coordinate to find an n (n The method comprising the steps of: (a) determining an object position coordinate value for one or more < RTI ID = 0.0 > And outputting virtual reality data associated with the n objects to the n display coordinate values in step (6).
The augmented reality apparatus according to the present invention may further include a position tracking sensor for tracking a position of a user, and the second step may include: Further comprising the step of calculating a user position coordinate value by tracking a position of a user belonging to a space corresponding to the three-dimensional coordinate system with reference to an origin on the dimensional coordinate system, wherein the fourth step comprises: And the direction of the user ' s gaze toward outside the space beyond the transparent display is tracked as a reference.
The augmented reality display method for displaying virtual reality data on an object outside the space on the transparent display based on the n display coordinate values, And calculating a target coordinate area.
The augmented reality display target coordinate area is calculated so as not to overlap with the second augmented reality display target coordinate area calculated first on the transparent display in the method of providing an augmented reality using the viewing direction tracking according to the present invention do.
The augmented reality device for tracking a position and a viewing direction according to the present invention includes a position tracking sensor and a gaze tracking sensor for a user connected to a transparent display fixed to a space in which a user is located, A coordinate system constituting a three-dimensional coordinate system having the transparent display surface as an xy-axis and the vertical direction as a z-axis with respect to the transparent display surface, the augmented reality device for tracking a gaze direction to display associated virtual reality data, An object position storage unit for storing an object position coordinate value for one or more objects located outside the transparent display space in a space in which the transparent display is installed with reference to an origin on the three dimensional coordinate system; Located within the space relative to the origin on the dimensional coordinate system A user's location tracking unit for tracking a user's position and calculating a user's location coordinate value, a line-of-sight checking unit for checking whether the user's line of sight is directed to the transparent display through the line-of-sight sensor, (N > = 1) objects in which an extension of the line of sight is located within a predetermined distance from the object position coordinate value, the eye direction tracking unit tracking the eye direction of the user through the eye tracking sensor, A display coordinate calculation unit for calculating n display coordinate values where a straight line connecting the n object position coordinate values and the user position coordinate value meets the transparent display; And outputting virtual reality data associated with n objects in the n display coordinate values, And a power unit.
본 발명에 따른 위치와 시선방향을 추적하는 증강현실 장치는, 상기 투명 디스플레이 면에서 기 설정된 거리 이내에 위치하는 증강현실 표시 대상 사용자를 확인하는 사용자 확인부를 더 구비할 수 있다.
The augmented reality device for tracking the position and the viewing direction according to the present invention may further include a user confirmation unit for identifying a user to be displayed on the AR display located within a predetermined distance on the transparent display surface.
본 발명에 따른 위치와 시선방향을 추적하는 증강현실 장치에 있어서, 상기 디스플레이 좌표 산출부는, 상기 n개의 디스플레이 좌표 값을 포함하여 상기 투명 디스플레이 상에 공간 밖의 객체에 대한 가상현실 데이터를 표시할 증강현실 표시 대상 좌표 영역을 산출할 수 있다.
The display coordinate calculation unit may include a display coordinate calculation unit for calculating a display coordinate value of the augmented reality object to display virtual reality data for an object outside the space on the transparent display including the n display coordinate values, The display target coordinate area can be calculated.
본 발명에 따른 위치와 시선방향을 추적하는 증강현실 장치에 있어서, 상기 증강현실 표시 대상 좌표 영역은 상기 투명 디스플레이 상에 먼저 산출된 제2의 증강현실 표시 대상 좌표 영역과 중첩되지 않도록 산출되는 것을 특징으로 하는 위치와 시선방향을 추적할 수 있다.
The augmented reality display target coordinate area is calculated so as not to overlap with the second augmented reality display target coordinate area calculated first on the transparent display in the augmented reality device according to the present invention, And the direction of the line of sight can be tracked.
본 발명에 따르면, 건물의 유리창 또는 자동차 운전석 전면의 유리창을 투명 디스플레이로 사용하는 경우, 상기 건물 또는 자동차 운전석에서 사용자의 위치에 맞게 투명 디스플레이 건너편의 객체와 사용자의 시선방향을 일치시켜 증강현실을 출력하는 이점이 있다.
According to the present invention, when a glass window of a building or a glass window of the front of a driver's seat is used as a transparent display, the visual direction of the user opposite the transparent display is aligned with the user's position in the building or the driver's seat, .
도 1은 본 발명의 실시 방법에 따른 증강현실 장치 구성을 도시한 도면이다.
도 2는 본 발명의 실시 방법에 따른 사용자 위치와 시선을 추적하여 투명 디스플레이에 증강현실을 출력하는 과정을 도시한 도면이다.
도 3와 도면4는 본 발명의 실시 방법에 따라 투명 디스플레이에 증강현실을 출력하는 것을 예시한 도면이다.1 is a diagram illustrating a configuration of an augmented reality apparatus according to an embodiment of the present invention.
2 is a diagram illustrating a process of tracking a user's position and a line of sight according to an embodiment of the present invention and outputting an augmented reality to a transparent display.
FIG. 3 and FIG. 4 are views illustrating output of an augmented reality to a transparent display according to an embodiment of the present invention.
이하 첨부된 도면과 설명을 참조하여 본 발명의 바람직한 실시예에 대한 동작 원리를 상세히 설명한다. 다만, 하기에 도시되는 도면과 후술되는 설명은 본 발명의 특징을 효과적으로 설명하기 위한 여러 가지 방법 중에서 바람직한 실시 방법에 대한 것이며, 본 발명이 하기의 도면과 설명만으로 한정되는 것은 아니다. 또한, 하기에서 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서, 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 발명에서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
The operation principle of the preferred embodiment of the present invention will be described in detail with reference to the accompanying drawings and description. It should be understood, however, that the drawings and the following detailed description are exemplary and explanatory and are intended to provide further explanation of the invention, and are not to be construed as limiting the present invention. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. The terms used below are defined in consideration of the functions of the present invention, which may vary depending on the user, intention or custom of the operator. Therefore, the definition should be based on the contents throughout the present invention.
결과적으로, 본 발명의 기술적 사상은 청구범위에 의해 결정되며, 이하 실시예는 진보적인 본 발명의 기술적 사상을 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 효율적으로 설명하기 위한 일 수단일 뿐이다.
As a result, the technical idea of the present invention is determined by the claims, and the following embodiments are merely means for effectively explaining the technical idea of the present invention to a person having ordinary skill in the art to which the present invention belongs Only.
도면1은 본 발명의 실시 방법에 따른 증강현실 장치(100) 구성을 도시한 도면이다.
1 is a diagram illustrating a configuration of an augmented reality device 100 according to an embodiment of the present invention.
보다 상세하게 본 도면1은 지면(또는 건물 바닥)과 수직방향으로 건물에 고정된 투명 디스플레이와 연결된 증강현실 장치(100)에서 사용자가 서있는 위치에서 바라보는 투명 디스플레이 너머의 객체와 연관된 가상현실 데이터를 상기 사용자의 시선방향에 맞게 투명 디스플레이에 출력하는 구성을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면1을 참조 및/또는 변형하여 상기 증강현실 장치(100) 구성에 대한 다양한 실시 방법(예컨대, 일부 구성부가 생략되거나, 또는 세분화되거나, 또는 합쳐진 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면1에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.
In more detail, FIG. 1 illustrates virtual reality data associated with objects beyond a transparent display viewed from a user's standing position in an augmented reality device 100 connected with a transparent display fixed to the building in a vertical direction to the ground (or building floor) 1, the augmented reality device 100 according to an exemplary embodiment of the present invention will be described with reference to FIG. 1, It will be appreciated that various implementations of the configuration (e.g., some configurations may be omitted, or subdivided, or combined) may be inferred, but the present invention encompasses all such contemplated embodiments, And the technical features thereof are not limited only by the illustrated method.
본 발명의 증강현실 장치(100)는 상기 투명 디스플레이가 설치된 건물 안에 존재하는 사용자의 위치를 추적하는 기능, 상기 사용자의 시선을 추적하는 기능, 상기 투명 디스플레이에 가상현실 데이터를 출력하는 기능을 구비한 장치의 총칭으로서, 상기 사용자의 위치를 추적하는 방식, 사용자의 시선을 추적하는 방식, 상기 투명 디스플레이에 가상현실 데이터를 출력하는 방식에 의해 한정되지 아니한다. 예를들어, 상기 가상현실 데이터는 장치 내 메모리에 저장되어 있거나, 또는 통신망을 통해 수신되거나, 또는 미리 준비된 하나 이상의 폴리곤(Polygon) 데이터와 텍스쳐(Texture) 데이터를 조합하여 실시간 생성될 수 있다.
The augmented reality device 100 according to the present invention includes a function of tracking a position of a user existing in a building in which the transparent display is installed, a function of tracking the user's gaze, and a function of outputting virtual reality data to the transparent display And is not limited to a method of tracking the position of the user, a method of tracking the user's gaze, and a method of outputting virtual reality data to the transparent display. For example, the virtual reality data may be generated in real time by combining one or more polygon data and texture data stored in a memory in the apparatus, received via a communication network, or prepared in advance.
또한, 상기 증강현실 장치(100)는 장치를 구성하는 구조에 의해 한정되지 아니한다. 예를들어, 상기 증강현실 장치(100)는 하나의 케이스 내에 각 구성부가 통합 구비된 독립 장치 형태, 연결된 두개 이상의 장치에 각 구성부가 분리되어 구비된 연동 장치 형태, 특정 물건/건물/공간에 설치된 형태 등으로 구현될 수 있다.
In addition, the augmented reality device 100 is not limited by the structure constituting the apparatus. For example, the augmented reality device 100 may be configured as an independent device in which each component is integrated in one case, an interlock device in which each component is separately provided in two or more connected devices, And the like.
도면1을 참조하면, 상기 증강현실 장치(100)는, 제어부(105), 메모리부(135), 출력부(125), 센서부(110)를 구비하며, 가상현실 데이터를 획득하는 방식에 따라 통신부(130)를 더 구비할 수 있다.
1, the augmented reality device 100 includes a control unit 105, a memory unit 135, an output unit 125, and a sensor unit 110, And may further include a communication unit 130.
상기 제어부(105)는 물리적으로 프로세서와 실행 메모리와 버스를 포함하며, 기능적으로 상기 증강현실 장치(100)에 구비된 프로그램이 상기 실행 메모리로 로드되어 상기 프로세서에 의해 연산되도록 처리하는 기록매체 기능을 수행한다. 이에 본 도면1은 상기 증강현실 장치(100)에 구비되는 프로그램 구성부를 편의상 상기 제어부(105) 내에 도시하여 설명하기로 한다.
The control unit 105 physically includes a processor, an execution memory, and a bus, and functions as a recording medium that processes a program included in the augmented reality device 100 so as to be functionally loaded into the execution memory and operated by the processor . FIG. 1 is a block diagram illustrating the configuration of a program unit included in the augmented reality system 100 according to an embodiment of the present invention.
상기 메모리부(135)는 비휘발성 메모리를 포함하며, 기능적으로 상기 제어부(105)로 로딩될 프로그램 코드와 상기 프로그램 코드가 사용하는 데이터 셋트를 저장/유지하는 저장매체 기능을 수행한다. 여기서, 상기 프로그램 코드는 상기 증강현실 장치(100)의 기본 동작을 운영/제어하는 시스템 프로그램 코드와, 상기 증강현실 장치(100)에 구비되는 각종 애플리케이션 서비스를 제공하는 응용 프로그램 코드를 포함한다.
The memory unit 135 includes a nonvolatile memory, and functions as a storage medium for storing / holding program codes to be loaded into the controller 105 functionally and a data set used by the program codes. The program code includes system program code for operating / controlling the basic operation of the augmented reality device 100 and application program code for providing various application services included in the augmented reality device 100. [
본 발명의 실시 방법에 따르면, 상기 메모리부(135)는 상기 투명 디스플레이가 설치된 건물 안에서 상기 투명 디스플레이 너머 건물 밖에 위치한 하나 이상의 객체에 대한 객체 위치 좌표 값과, 상기 객체 위치 좌표 값에 대응하는 객체와 연관된 가상현실 데이터를 연결하여 저장하며, 이 경우 상기 메모리부(135)는 상기 가상현실 데이터를 획득하는 가상현실 획득수단의 기능을 수행할 수 있다.
According to the embodiment of the present invention, the memory unit 135 stores an object position coordinate value for one or more objects located outside the transparent display in a building where the transparent display is installed, an object corresponding to the object position coordinate value, In this case, the memory unit 135 may perform the function of the virtual reality obtaining unit for obtaining the virtual reality data.
상기 출력부(125)는 지면(또는 건물 바닥)과 수직방향으로 건물에 고정된 투명 디스플레이로 가상현실 데이터를 출력시키는 출력모듈을 포함하며, 상기 사용자의 시선방향과 만나는 디스플레이 좌표에 상기 가상현실 데이터를 출력시킨다.
The output unit 125 includes an output module for outputting virtual reality data with a transparent display fixed to the building in a vertical direction with respect to the ground (or the building floor) .
상기 통신부(130)는 어느 하나의 통신 규격과 프로토콜에 따라 유선 통신망과 무선 통신망 중 어느 하나의 통신망에 접속하는 통신모듈을 포함하며, 상기 통신망을 서버(또는 장치)와 통신채널을 연결하거나 또는 다른 증강현실 장치(100)와 통신채널을 연결하는 기능을 수행한다.
The communication unit 130 includes a communication module for connecting to any one of a wired communication network and a wireless communication network according to any communication standard and protocol. The communication unit 130 connects the communication channel with a server (or a device) And performs a function of connecting the augmented reality device 100 to a communication channel.
본 발명의 실시 방법에 따르면, 상기 통신부(130)는 통신망 상의 서버(또는 장치)에 저장된 가상현실 데이터를 수신하는 가상현실 획득수단의 기능을 수행할 수 있다.
According to the embodiment of the present invention, the communication unit 130 can perform a function of virtual reality acquisition means for receiving virtual reality data stored in a server (or device) on a communication network.
상기 센서부(110)는 건물 내 사용자의 위치를 추적하는 위치 추적 센서(120) 및 상기 사용자의 시선방향을 추적하는 시선 추적 센서(115)로부터 센싱되는 센서신호를 획득하는 장치를 포함한다.
The sensor unit 110 includes a position-tracking sensor 120 for tracking the position of a user in the building and a device for acquiring a sensor signal sensed from a line-of-sight sensor 115 for tracking the direction of the user's gaze.
본 발명의 실시 방법에 따르면, 상기 위치 추적 센서(120)와 시선 추적 센서(115)는 하나의 센서로 통합되어 구성될 수 있으며, 별도의 센서로 구성될 수 있다.
According to an embodiment of the present invention, the position tracking sensor 120 and the sight line tracking sensor 115 may be integrated into one sensor or may be configured as separate sensors.
본 발명의 실시 방법에 따르면, 상기 위치 추적 센서(120)는 광학 방식, 화상 입력 방식, 전자파 방식, 사운드 판독 방식 중 어느 하나의 센서 방식을 통해 사용자의 위치를 추적한다.
According to the embodiment of the present invention, the position tracking sensor 120 tracks the position of the user through any one of an optical system, an image input system, an electromagnetic wave system, and a sound reading system.
여기서, 상기 광학 방식 위치 추적은 상기 위치 추적 센서(120)에서 육안으로 식별이 난해하며 인체에 무해한 광선(예컨대, 적외선)을 건물 내에 주사하고, 상기 건물 내 사용자를 통해 반사되는 광선을 인식하여 사용자의 위치를 추적하는 방식이다.
In the optical position tracking, the position tracking sensor 120 scans light rays (for example, infrared rays) which are hard to be visually recognized and harmless to the human body, recognizes light rays reflected through a user in the building, And the location of the location is tracked.
상기 화상 입력 방식 위치 추적은 상기 위치 추적 센서(120)에서 CCD(Charge Coupled Device) 소자를 포함하는 카메라를 통해 건물 내 화상 데이터를 입력하고, 상기 화상 데이터를 판독하여 사용자의 위치를 추적하는 방식이다.
The image input method position tracking is a method of inputting in-building image data through a camera including a CCD (Charge Coupled Device) element in the position tracking sensor 120, reading the image data, and tracking a user's position .
상기 전자파 방식 위치 추적은 상기 건물 내 사용자가 소지한 전자파 송출장치(예컨대, 휴대폰 등)에서 송출되는 전자파 신호를 수신하고, 삼각측량 방식으로 상기 사용자의 위치를 추적하는 방식이다.
The electromagnetic wave position tracking is a method of receiving an electromagnetic wave signal transmitted from an electromagnetic wave emitting apparatus (for example, a mobile phone or the like) owned by a user in the building and tracking the position of the user by a triangulation method.
상기 사운드 판독 방식 위치 추적은 사람의 귀에는 들리지 않는 사운드(예컨대, 초음파)를 건물 내에 주사하고, 상기 건물 내 사용자를 통해 반사되는 사운드를 인식하여 사용자의 위치를 추적하는 방식이다.
The sound reading method is a method of scanning a sound (e.g., an ultrasonic wave) that can not be heard by a human ear into a building, and recognizing a sound reflected through a user in the building, thereby tracking the position of the user.
그러나, 상기 위치 추적 센서(120)가 사용자의 위치를 추적하는 방식이 상술된 방식으로 한정되는 것은 결코 아니며, 당업자에 따라 다양하게 변형하여 실시할 수 있으며, 본 발명은 상기 변형 가능한 모든 실시예를 포함한다.
However, the manner in which the position tracking sensor 120 tracks the position of the user is not limited to the above-described manner, and various modifications may be made by those skilled in the art. .
본 발명의 실시 방법에 따르면, 상기 시선 추적 센서(115)는 광학 방식과 화상 입력 방식 중 어느 하나의 센서 방식을 통해 사용자의 시선을 추적한다.
According to the method of the present invention, the line-of-sight tracking sensor 115 tracks the user's line of sight through one of an optical system and an image input system.
여기서, 상기 광학 방식 위치 추적은 상기 시선 추적 센서(115)에서 육안으로 식별이 난해하며 인체에 무해한 광선(예컨대, 적외선)을 사용자에게 선택적으로 주사하고, 상기 사용자로부터 반사되는 광선을 인식하여 사용자의 시선을 추적하는 방식이다.
Here, the optical position tracking is performed by selectively scanning a user (for example, infrared rays) which is difficult to visually recognize by the eye tracking sensor 115 and harmless to the human body, recognizing the light ray reflected from the user, It is a way to track your gaze.
상기 화상 입력 방식 시선 추적은 상기 시선 추적 센서(115)에서 CCD(Charge Coupled Device) 소자를 포함하는 카메라를 통해 사용자에 대한 화상 데이터를 입력하고, 상기 화상 데이터를 판독하여 사용자의 시선을 추적하는 방식이다.
The image input system line-of-sight tracking is a method of inputting image data for a user through a camera including a CCD (Charge Coupled Device) element in the line-of-sight tracking sensor 115, reading the image data, to be.
그러나, 상기 시선 추적 센서(115)가 사용자의 시선을 추적하는 방식이 상술된 방식으로 한정되는 것은 결코 아니며, 당업자에 따라 다양하게 변형하여 실시할 수 있으며, 본 발명은 상기 변형 가능한 모든 실시예를 포함한다.
However, the manner in which the line-of-sight sensor 115 tracks the user's gaze is not limited to the above-described manner, and various modifications may be made by those skilled in the art. .
도면1을 참조하면, 상기 증강현실 장치(100)는, 상기 투명 디스플레이 면을 x-y축으로 하고, 상기 투명 디스플레이 면과 수직 방향을 z축으로 하는 3차원 좌표계를 구성하는 좌표계 구성부(140)와, 상기 3차원 좌표계 상의 원점을 기준으로 상기 투명 디스플레이가 설치된 건물 안에서 상기 투명 디스플레이 너머 건물 밖에 위치한 하나 이상의 객체에 대한 객체 위치 좌표 값을 저장하는 객체 위치 저장부(145)와, 상기 위치 추적 센서(120)를 통해 상기 3차원 좌표계 상의 원점을 기준으로 건물 내 위치한 사용자의 위치를 추적하여 사용자 위치 좌표 값을 산출하는 사용자 위치 추적부(150)와, 상기 시선 추적 센서(115)를 통해 상기 사용자의 시선이 투명 디스플레이를 향하는지 확인하는 시선 확인부(155)와, 상기 사용자의 시선이 상기 투명 디스플레이를 향하면, 상기 시선 추적 센서(115)를 통해 상기 사용자의 시선방향을 추적하는 시선방향 추적부(160)와, 상기 시선방향의 연장선이 상기 객체 위치 좌표 값과 기 설정된 거리 이내에 위치하는 n(n>=1)개의 객체에 대한 객체 위치 좌표 값을 확인하는 객체 확인부(165)와, 상기 n개의 객체 위치 좌표 값과 사용자 위치 좌표 값을 연결한 직선이 상기 투명 디스플레이와 만나는 n개의 디스플레이 좌표 값을 산출하는 디스플레이 좌표 산출부(170)와, 상기 n개의 디스플레이 좌표 값에 n개의 객체와 연관된 가상현실 데이터를 출력하는 증강현실 출력부(180)를 구비하며, 상기 투명 디스플레이 면에서 기 설정된 거리 이내에 위치하는 증강현실 표시 대상 사용자를 확인하는 사용자 확인부(175)를 더 구비할 수 있다. 본 발명의 실시 방법에 따르면, 상기 좌표계 구성부(140), 객체 위치 저장부(145), 사용자 위치 추적부(150), 시선 확인부(155), 시선방향 추적부(160), 객체 확인부(165), 디스플레이 좌표 산출부(170), 증강현실 출력부(180) 중 하나 이상의 구성부는 상기 제어부(105), 메모리부(135), 출력부(125), 센서부(110) 및 통신부(130)를 구비한 증강현실 장치(100)와 연결된 서버에 구비될 수 있으며, 실시 방법에 따라 일부 구성요소는 증강현실 장치(100)에 구비되고 나머지 구성부는 상기 서버에 구비될 수 있다.
Referring to FIG. 1, the augmented reality device 100 includes a coordinate system configuration unit 140 that configures a three-dimensional coordinate system having the transparent display surface as an xy axis and the vertical direction as a z axis, An object position storage unit 145 for storing an object position coordinate value for at least one object located outside the transparent display in a building in which the transparent display is installed with reference to an origin on the three-dimensional coordinate system, A user location tracking unit 150 for tracking a location of a user located in a building with respect to an origin on the three-dimensional coordinate system through a display unit 120 and calculating a user location coordinate value; A sight line confirming unit (155) for confirming whether the line of sight is directed to the transparent display; A line-of-sight direction tracking unit 160 for tracking the line-of-sight direction of the user through a line-of-sight line sensor 115; and an n (n> = 1 ) Object identifying unit 165 for determining an object position coordinate value for each of the n object position coordinate values and the user position coordinate value, and calculating n display coordinate values at which a straight line connecting the n object position coordinate values and the user position coordinate value meet with the transparent display And an augmented reality output unit 180 for outputting virtual reality data associated with n objects in the n display coordinate values, wherein the augmented reality output unit 180 includes a display coordinate calculation unit 170, And a user confirmation unit 175 for confirming a real-time display target user. The object location storage unit 145, the user location tracking unit 150, the sight line confirmation unit 155, the gaze direction tracking unit 160, the object confirmation unit 160, One or more of the display unit 165, the display coordinate calculation unit 170 and the augmented reality output unit 180 may be connected to the control unit 105, the memory unit 135, the output unit 125, the sensor unit 110, 130 may be provided in a server connected to the augmented reality device 100. Some components may be provided in the augmented reality device 100 and other components may be provided in the augmented reality device 100 according to an implementation method.
상기 좌표계 구성부(140)는 지면(또는 건물 바닥)과 수직방향으로 건물에 고정된 투명 디스플레이 면을 x-y축으로 하고, 상기 투명 디스플레이 면과 수직 방향을 z축으로 하는 3차원 좌표계를 구성하며, 상기 z축 방향에 따라 건물 바깥쪽과 건물 안쪽이 결정된다. 상기 3차원 좌표계의 원점은 건물 안, 투명 디스플레이 면, 간물 바깥 중 어디여도 상관 없다.
The coordinate system construction unit 140 constitutes a three-dimensional coordinate system in which the transparent display surface fixed to the building in the vertical direction to the ground (or the building floor) is defined as the xy axis and the vertical direction is defined as the z axis, The outside of the building and the inside of the building are determined along the z-axis direction. The origin of the three-dimensional coordinate system may be anywhere inside the building, on the transparent display surface, or on the outside of the body.
상기 객체 위치 저장부(145)는 상기 통신부(130)를 통해 사용자 단말과 연결되며, 상기 사용자 단말로부터 상기 3차원 좌표계 상의 원점을 기준으로 상기 투명 디스플레이가 설치된 건물 안에서 상기 투명 디스플레이 너머 건물 밖에 위치한 하나 이상의 객체에 대한 객체 위치 좌표 값을 수신하여 상기 메모리부(135)에 저장된다.
The object position storage unit 145 is connected to the user terminal through the communication unit 130. The object position storage unit 145 stores the object position storage unit 145 in the building in which the transparent display is installed with reference to the origin on the three- And receives the object position coordinate values for the objects and stores them in the memory unit 135.
여기서, 상기 객체 위치 좌표 값은 상기 객체 위치 좌표에 위치하는 객체와 연관된 하나 이상의 가상현실 데이터와 연결되어 저장된다.
Here, the object position coordinate value is stored in connection with one or more virtual reality data associated with the object located at the object position coordinate.
본 발명의 다른 실시 방법에 따르면, 상기 메모리부(135)는 상기 객체 위치 좌표 값을 저장하고, 상기 객체와 연관된 가상현실 데이터는 상기 통신부(130)를 통해 상기 증강현실 장치(100)와 연결된 서버 상에 저장될 수 있다.
According to another embodiment of the present invention, the memory unit 135 stores the object position coordinate value, and the virtual reality data associated with the object is transmitted to the augmented reality apparatus 100 through the communication unit 130 Lt; / RTI >
상기 사용자 위치 추적부(150)는 상기 위치 추적 센서(120)를 통해 상기 객체 위치 좌표 값을 결정한 3차원 좌표계와 동일한 좌표계의 원점을 기준으로 건물 내 위치한 사용자의 위치를 추적하여 사용자 위치 좌표 값을 산출한다.
The user location tracking unit 150 tracks the location of a user located in the building with reference to the origin of the same coordinate system as the three-dimensional coordinate system in which the object location coordinate value is determined through the location tracking sensor 120, .
여기서, 상기 객체 위치 좌표 값과 사용자 위치 좌표 값은 동일한 3차원 좌표 가상의 좌표 값이다.
Here, the object position coordinate value and the user position coordinate value are the same three-dimensional coordinate virtual coordinate values.
상기 사용자 확인부(175)는 상기 사용자 위치 추적부(150)를 통해 상기 사용자 위치 좌표 값이 산출되면, 상기 사용자 위치 좌표 값을 통해 상기 투명 디스플레이 면과 사용자 간 거리를 산출하고, 상기 산출된 거리가 기 설정된 거리 이내인 사용자를 증강현실 표시 대상 사용자로 확인할 수 있다.
When the user position coordinate value is calculated through the user position tracking unit 150, the user confirmation unit 175 calculates the distance between the transparent display surface and the user based on the user position coordinate value, The user who is within the predetermined distance can be identified as the augmented reality display target user.
상기 시선 확인부(155)는 상기 시선 추적 센서(115)를 통해 상기 사용자의 시선이 투명 디스플레이를 향하는지 주기적으로 확인한다. 만약 상기 사용자 확인부(175)를 통해 증강현실 표시 대상 사용자가 확인되는 경우, 상기 시선 확인부(155)는 상기 증강현실 표시 대상 사용자의 시선이 투명 디스플레이를 향하는지 선택적으로 확인할 수 있다.
The line-of-sight confirmation unit 155 periodically checks whether the line of sight of the user is directed to the transparent display through the line-of-sight sensor 115. If a user to be augmented reality display object is identified through the user confirmation unit 175, the sight line confirmation unit 155 can selectively check whether the eyes of the augmented reality display object user is facing a transparent display.
상기 시선 확인부(155)를 통해 상기 사용자의 시선이 상기 투명 디스플레이를 향하면, 상기 시선방향 추적부(160)는 상기 시선 추적 센서(115)를 통해 상기 사용자의 시선방향을 추적한다.
When the user's gaze is directed to the transparent display through the gaze confirmation unit 155, the gaze direction tracking unit 160 tracks the gaze direction of the user through the gaze tracking sensor 115.
여기서, 상기 사용자의 시선방향은 상기 객체 위치 좌표 값과 사용자 위치 좌표 값이 결정되는 3차원 좌표계 상의 직선의 방정식으로 표시될 수 있다.
Here, the gaze direction of the user may be represented by a straight line equation on a three-dimensional coordinate system in which the object position coordinate value and the user position coordinate value are determined.
상기 사용자의 시선방향이 추적되면, 상기 객체 확인부(165)는 상기 시선방향의 연장선을 상기 메모리부(135)에 저장된 객체 위치 좌표 값이 표시되는 범위까지 확장하고, 상기 시선방향과 상기 메모리부(135)에 저장된 객체 위치 좌표 값 사이의 거리를 산출한다.
If the direction of the user's gaze is traced, the object identifying unit 165 extends the extended line of the gaze direction to a range in which the object position coordinate value stored in the memory unit 135 is displayed, The distance between the object position coordinates stored in the object position coordinate storage unit 135 is calculated.
여기서, 상기 시선방향과 객체 위치 좌표 값 사이의 거리는 직선과 점의 거리를 산출하는 방정식을 통해 산출될 수 있다.
Here, the distance between the gaze direction and the object position coordinate value can be calculated through an equation that calculates the distance between the straight line and the point.
상기 시선방향과 객체 위치 좌표 값 사이의 거리가 산출되면, 상기 객체 확인부(165)는 상기 산출된 거리가 기 설정된 거리 이내에 위치하는 n(n>=1)개의 객체에 대한 객체 위치 좌표 값을 확인한다.
When the distance between the gaze direction and the object position coordinate value is calculated, the object identifying unit 165 determines the object position coordinate value for n (n > = 1) objects in which the calculated distance is within a predetermined distance Check.
상기 시선방향과 기 설정된 거리 이내에 위치하는 n개의 객체 위치 좌표 값이 확인되면, 상기 디스플레이 좌표 산출부(170)는 상기 n개의 객체 위치 좌표 값과 상기 사용자 위치 좌표 값을 연결하는 직선의 방정식을 산출하고, 상기 직선의 방정식이 상기 투명 디스플레이 면(예컨대 x-y 좌표 면)과 만나는 좌표 값을 n개의 디스플레이 좌표 값으로 산출한다.
If n object position coordinate values located within a predetermined distance from the viewing direction are confirmed, the display coordinate calculation unit 170 calculates a linear equation connecting the n object position coordinate values and the user position coordinate value And calculates coordinates of n coordinate values at which the equation of the straight line meets the transparent display surface (e.g., the xy coordinate plane) as n display coordinate values.
본 발명의 실시 방법에 따르면, 상기 n개의 디스플레이 좌표 값이 산출되는 경우, 상기 디스플레이 좌표 산출부(170)는 상기 n개의 디스플레이 좌표 값을 포함하여 상기 투명 디스플레이 상에 건물 밖의 객체에 대한 가상현실 데이터를 표시할 증강현실 표시 대상 좌표 영역을 산출할 수 있다. 여기서, 상기 증강현실 표시 대상 좌표 영역은 상기 투명 디스플레이 상에 먼저 산출된 제2의 증강현실 표시 대상 좌표 영역과 중첩되지 않도록 산출된다.
According to the embodiment of the present invention, when the n display coordinate values are calculated, the display coordinate calculation unit 170 calculates the display coordinate values of the virtual reality data It is possible to calculate the augmented reality display target coordinate area to be displayed. Here, the augmented reality display target coordinate area is calculated so as not to overlap with the second augmented reality display target coordinate area calculated first on the transparent display.
상기 n개의 디스플레이 좌표 값이 산출되면, 상기 증강현실 출력부(180)는 상기 가상현실 획득수단을 통해 상기 n개의 디스플레이 좌표 값과 연결된 n개의 가상현실 데이터를 확인하고, 상기 n개의 디스플레이 좌표 값에 대응하는 투명 디스플레이 영역에 상기 확인된 n개의 가상현실 데이터를 출력한다.
When the n display coordinate values are calculated, the augmented reality output unit 180 verifies n pieces of virtual reality data connected with the n display coordinate values through the virtual reality obtaining unit, and outputs the n display coordinate values And outputs the identified n pieces of virtual reality data to the corresponding transparent display area.
도면2는 본 발명의 실시 방법에 따른 사용자 위치와 시선을 추적하여 투명 디스플레이에 증강현실을 출력하는 과정을 도시한 도면이다.
FIG. 2 is a diagram illustrating a process of tracking a user location and a line of sight according to an embodiment of the present invention and outputting an augmented reality to a transparent display.
보다 상세하게 본 도면2는 상기 도면1에 도시된 증강현실 장치(100)에서 지면(또는 건물 바닥)과 수직방향으로 건물에 고정된 투명 디스플레이에 건물 밖에 존재하는 객체와 연관된 가상현실 데이터를 사용자위 위치 별 시선방향과 매칭되는 디스플레이 좌표 영역에 출력하는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면2를 참조 및/또는 변형하여 상기 증강현실 출력 과정에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면2에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.
2 shows the virtual reality data associated with an object existing outside the building on a transparent display fixed to the building in a vertical direction with respect to the ground (or building floor) in the augmented reality device 100 shown in FIG. And outputs it to the display coordinate area matching with the gaze direction according to the position. If the person skilled in the art is familiar with the present invention, referring to and / or modifying FIG. 2, It is to be understood that the invention may be practiced otherwise than as specifically described herein, but it is to be understood that the invention may be practiced otherwise than as specifically described herein, The technical characteristics thereof are not limited.
도면2를 참조하면, 증강현실 장치(100)는 상기 투명 디스플레이 면을 x-y축으로 하고, 상기 투명 디스플레이 면과 수직 방향을 z축으로 하는 3차원 좌표계를 구성하고(200), 상기 3차원 좌표계 상의 원점을 기준으로 상기 투명 디스플레이가 설치된 건물 안에서 상기 투명 디스플레이 너머 건물 밖에 위치한 하나 이상의 객체에 대한 객체 위치 좌표 값을 저장한다(205).
Referring to FIG. 2, the augmented reality device 100 constructs a three-dimensional coordinate system (200) having the transparent display surface as an xy-axis and the vertical direction as a z-axis perpendicular to the transparent display surface (200) (205) the object position coordinate values for one or more objects located outside the transparent display in the building where the transparent display is installed with respect to the origin.
이후, 상기 증강현실 장치(100)는 상기 위치 추적 센서(120)를 통해 상기 3차원 좌표계 상의 원점을 기준으로 건물 내 위치한 사용자의 위치를 추적하여 사용자 위치 좌표 값을 산출하고(210), 상기 시선 추적 센서(115)를 통해 상기 사용자의 시선이 투명 디스플레이를 향하는지 확인한다(215).
Thereafter, the augmented reality device 100 tracks the position of a user located in the building with reference to the origin on the three-dimensional coordinate system through the position tracking sensor 120, and calculates a user position coordinate value (210) The tracking sensor 115 confirms whether the user's gaze is directed to the transparent display (215).
만약 상기 사용자의 시선이 상기 투명 디스플레이를 향하면(220), 상기 증강현실 장치(100)는 상기 시선 추적 센서(115)를 통해 상기 사용자의 시선방향을 추적하고(225), 상기 시선방향의 연장선이 상기 객체 위치 좌표 값과 기 설정된 거리 이내에 위치하는 n(n>=1)개의 객체에 대한 객체 위치 좌표 값을 확인하고(230), 상기 n개의 객체 위치 좌표 값과 사용자 위치 좌표 값을 연결한 직선이 상기 투명 디스플레이와 만나는 n개의 디스플레이 좌표 값을 산출하고(235), 상기 n개의 디스플레이 좌표 값에 n개의 객체와 연관된 가상현실 데이터를 출력한다(240).
If the user's gaze is directed toward the
도면3과 도면4는 본 발명의 실시 방법에 따라 투명 디스플레이에 증강현실을 출력하는 것을 예시한 도면이다.
FIGS. 3 and 4 are diagrams illustrating output of an augmented reality to a transparent display according to an embodiment of the present invention.
구체적으로 도면3은 사용자위 위치를 고려하지 않고 투명 디스플레이에 증강현실을 출력하는 것을 예시한 것으로서, 도면3을 참조하면, 사용자는 뷰포인트(Viewpoint) A와 뷰포인트 A’에 위치할 수 있다. 만약 사용자가 뷰포인트A의 위치에서 투명 디스플레이 건너편의 객체를 바라보고 있을 때, 상기 객체에 투명 디스플레이 건너편의 객체가 공(Ball)이라는 노란색 풍선 도움말을 가상현실 데이터로 표시한다면, 뷰포인트 A 이미지(Viewpoint A Image)와 같이 표시된다. 이 때, 뷰포인트A’에 위치한 사용자는 뷰포인트 A’ 이미지(Viewpoint A’ Image)와 같이 자신의 시선방향과 일치하지 않게 가상현실 데이터가 출력된다.
Specifically, FIG. 3 illustrates outputting an augmented reality to a transparent display without considering the user's upper position. Referring to FIG. 3, the user may be located at a viewpoint A and a viewpoint A '. If the user is viewing the object across the transparent display at the location of view point A and the object across the transparent display of the object is displaying the yellow balloon help as a virtual reality data, Viewpoint A Image). At this time, the user located at the viewpoint A 'outputs the virtual reality data such that the viewpoint A' Image does not coincide with the direction of the viewpoint.
도면4는 사용자의 위치를 고려하여 투명 디스플레이에 증강현실을 출력하는 것을 예시한 것으로서, 도면4를 참조하면, 사용자는 뷰포인트 A에 위치하거나 또는 뷰포인트 A’에 위치하는지 상관 없이 자신이 위치에서 투명 디스플레이 건너편의 객체와 연관된 가상현실 데이터를 해당 객체가 보이는 시선방향과 일치시켜 출력된다.
4 illustrates the output of the augmented reality on the transparent display in consideration of the user's position. Referring to Fig. 4, whether the user is located at the view point A or at the view point A ' The virtual reality data associated with the object on the opposite side of the transparent display is output in accordance with the viewing direction of the object.
100 : 증강현실 장치 140 : 좌표계 구성부
145 : 객체 위치 저장부 150 : 사용자 위치 추적부
155 : 시선 확인부 160 : 시선방향 추적부
165 : 객체 확인부 170 : 디스플레이 좌표 산출부
175 : 사용자 확인부 180 : 증강현실 출력부100: augmented reality device 140: coordinate system constituent part
145: object position storage unit 150: user position tracking unit
155: eye line confirmation unit 160: eye line direction tracking unit
165: Object verification unit 170: Display coordinate calculation unit
175: user confirmation unit 180: augmented reality output unit
Claims (4)
상기 투명 디스플레이의 면을 x-y축으로 하고 상기 투명 디스플레이 면과 수직 방향을 z축으로 하는 3차원 좌표계를 구성하는 제1 단계;
상기 3차원 좌표계 상의 원점을 기준으로 상기 투명 디스플레이를 바라보는 사용자의 육안에서 상기 투명 디스플레이 너머 3차원 실제 공간에 위치한 하나 이상의 객체에 대한 객체 위치 좌표 값을 확인하는 제2 단계;
상기 시선 추적 센서를 통해 사용자의 시선이 투명 디스플레이를 향하는지 확인하는 제3 단계;
상기 사용자의 시선이 투명 디스플레이를 향하는 경우 상기 시선 추적 센서를 통해 상기 투명 디스플레이 너머 3차원 실제 공간을 향하는 상기 사용자의 시선방향을 추적하는 제4 단계;
상기 추적된 시선방향의 연장선과 상기 객체 위치 좌표 값을 비교하여 상기 시선방향의 연장선과 만나거나 기 설정된 거리 이내에 존재하는 n(n≥1)개의 객체에 대한 객체 위치 좌표 값을 확인하는 제5 단계;
상기 n개의 객체 위치 좌표 값과 상기 사용자의 육안 위치를 연결한 직선이 상기 투명 디스플레이와 만나는 n개의 디스플레이 좌표 값을 산출하는 제6 단계; 및
상기 n개의 디스플레이 좌표 값에 상기 n개의 객체와 연관된 가상현실 데이터를 출력하는 제7 단계;를 포함하는 시선방향 추적을 이용한 증강현실 제공 방법.
CLAIMS What is claimed is: 1. A method executed via an augmented reality device connected to a transparent display and having a visual tracker for a user's eye,
A first step of constructing a three-dimensional coordinate system in which a plane of the transparent display is defined as an xy axis and a direction perpendicular to the transparent display plane is defined as a z axis;
A second step of confirming an object position coordinate value of at least one object located in the three-dimensional real space beyond the transparent display in the naked eye of the user viewing the transparent display with reference to the origin on the three-dimensional coordinate system;
A third step of confirming whether the user's gaze is directed to the transparent display through the gaze tracking sensor;
A fourth step of tracking the user's gaze direction toward the three-dimensional real space beyond the transparent display through the gaze tracking sensor when the gaze of the user is directed to the transparent display;
A fifth step of comparing an object line position coordinate value with an extension line of the tracked line direction and confirming an object position coordinate value for n (n? 1) objects meeting with an extension line in the visual line direction or within a predetermined distance ;
A sixth step of calculating n display coordinate values in which a straight line connecting the n object position coordinate values and the user's visual position meets the transparent display; And
And outputting virtual reality data associated with the n objects to the n display coordinate values.
상기 증강현실장치는, 사용자의 위치를 추적하는 위치 추적 센서를 더 구비하고,
상기 제2 단계는, 상기 위치 추적 센서를 통해 상기 3차원 좌표계 상의 원점을 기준으로 상기 3차원 좌표계에 대응하는 공간에 속한 사용자의 위치를 추적하여 사용자 위치 좌표 값을 산출하는 단계를 더 포함하고,
상기 제4 단계는, 상기 산출된 사용자 위치 좌표 값을 기준으로 상기 투명 디스플레이 너머 공간 밖을 향하는 상기 사용자의 시선방향을 추적하는 것을 특징으로 하는 시선방향 추적을 이용한 증강현실 제공 방법.
The method according to claim 1,
The augmented reality device further includes a position tracking sensor for tracking a position of the user,
The second step may further include calculating a user position coordinate value by tracking a position of a user in a space corresponding to the three-dimensional coordinate system with reference to an origin on the three-dimensional coordinate system through the position tracking sensor,
Wherein the fourth step tracks the direction of the user's gaze toward the outside of the transparent display space based on the calculated user position coordinate value.
상기 n개의 디스플레이 좌표 값을 기준으로 상기 투명 디스플레이 상에 공간 밖의 객체에 대한 가상현실 데이터를 표시할 증강현실 표시 대상 좌표 영역을 산출하는 단계를 더 포함하여 이루어지는 것을 특징으로 하는 시선방향 추적을 이용한 증강현실 제공 방법.
The method as claimed in claim 1,
Further comprising the step of calculating an augmented reality display target coordinate area for displaying virtual reality data for an object outside the space on the transparent display based on the n display coordinate values, How to provide reality.
상기 투명 디스플레이 상에 먼저 산출된 제2의 증강현실 표시 대상 좌표 영역과 중첩되지 않도록 산출되는 것을 특징으로 하는 시선방향 추적을 이용한 증강현실 제공 방법.
4. The method according to claim 3, wherein the augmented reality display target coordinate area
Wherein the calculated augmented reality display area is calculated so as not to overlap with the second augmented reality display target coordinate area calculated first on the transparent display.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100055766A KR101691564B1 (en) | 2010-06-14 | 2010-06-14 | Method for Providing Augmented Reality by using Tracking Eyesight |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100055766A KR101691564B1 (en) | 2010-06-14 | 2010-06-14 | Method for Providing Augmented Reality by using Tracking Eyesight |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20110136012A KR20110136012A (en) | 2011-12-21 |
| KR101691564B1 true KR101691564B1 (en) | 2016-12-30 |
Family
ID=45502713
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020100055766A KR101691564B1 (en) | 2010-06-14 | 2010-06-14 | Method for Providing Augmented Reality by using Tracking Eyesight |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101691564B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022158746A1 (en) * | 2021-01-20 | 2022-07-28 | 서울대학교병원 | Medical treatment system using transparent display module |
| WO2024043424A1 (en) * | 2022-08-23 | 2024-02-29 | 김필재 | Content providing device using detected object |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101793628B1 (en) * | 2012-04-08 | 2017-11-06 | 삼성전자주식회사 | Transparent display apparatus and method thereof |
| KR101894793B1 (en) * | 2012-05-16 | 2018-09-04 | 에스케이텔레콤 주식회사 | Apparatus and method for augmented reality based on mirror display |
| KR101395388B1 (en) * | 2012-06-29 | 2014-05-14 | 인텔렉추얼디스커버리 주식회사 | Apparatus and method for providing augmented reality |
| KR102051656B1 (en) | 2013-01-22 | 2019-12-03 | 삼성전자주식회사 | Transparent display apparatus and method thereof |
| US9990034B2 (en) | 2013-11-15 | 2018-06-05 | Lg Electronics Inc. | Transparent display device and control method therefor |
| KR102179154B1 (en) | 2013-11-27 | 2020-11-16 | 한국전자통신연구원 | Method for controlling electric devices using transparent display and apparatus using the same |
| KR102114618B1 (en) * | 2014-01-16 | 2020-05-25 | 엘지전자 주식회사 | Portable and method for controlling the same |
| KR101733519B1 (en) | 2015-09-23 | 2017-05-08 | 주식회사 비주얼캠프 | Apparatus and method for 3-dimensional display |
| KR101896099B1 (en) * | 2017-10-30 | 2018-09-07 | 삼성전자주식회사 | Transparent display apparatus and method thereof |
| WO2019199035A1 (en) * | 2018-04-11 | 2019-10-17 | 주식회사 비주얼캠프 | System and method for eye gaze tracking |
| KR20190118965A (en) | 2018-04-11 | 2019-10-21 | 주식회사 비주얼캠프 | System and method for eye-tracking |
| KR101971521B1 (en) * | 2018-08-31 | 2019-04-23 | 삼성전자주식회사 | Transparent display apparatus and method thereof |
| KR20210113485A (en) | 2020-03-05 | 2021-09-16 | 삼성전자주식회사 | Method for controlling a display apparatus comprising a transparent screen and Apparatus thereof |
| KR102434017B1 (en) * | 2022-03-30 | 2022-08-22 | 유디포엠(주) | Augmented reality content display device |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000276613A (en) * | 1999-03-29 | 2000-10-06 | Sony Corp | Device and method for processing information |
| US20060262140A1 (en) * | 2005-05-18 | 2006-11-23 | Kujawa Gregory A | Method and apparatus to facilitate visual augmentation of perceived reality |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6094625A (en) * | 1997-07-03 | 2000-07-25 | Trimble Navigation Limited | Augmented vision for survey work and machine control |
-
2010
- 2010-06-14 KR KR1020100055766A patent/KR101691564B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000276613A (en) * | 1999-03-29 | 2000-10-06 | Sony Corp | Device and method for processing information |
| US20060262140A1 (en) * | 2005-05-18 | 2006-11-23 | Kujawa Gregory A | Method and apparatus to facilitate visual augmentation of perceived reality |
Non-Patent Citations (1)
| Title |
|---|
| 가상 전술 지도 증강현실에 기반한 군사 훈련 브리핑 도구, 한국통신학회논문지 제31권제4C호(2006)* |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022158746A1 (en) * | 2021-01-20 | 2022-07-28 | 서울대학교병원 | Medical treatment system using transparent display module |
| WO2024043424A1 (en) * | 2022-08-23 | 2024-02-29 | 김필재 | Content providing device using detected object |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20110136012A (en) | 2011-12-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101691564B1 (en) | Method for Providing Augmented Reality by using Tracking Eyesight | |
| KR102417177B1 (en) | Head-mounted display for virtual and mixed reality with inside-out positional, user body and environment tracking | |
| US8965741B2 (en) | Context aware surface scanning and reconstruction | |
| KR20190000860A (en) | Method for Providing Adaptive Augmented Reality | |
| KR102079097B1 (en) | Device and method for implementing augmented reality using transparent display | |
| KR101309176B1 (en) | Apparatus and method for augmented reality | |
| US20140198017A1 (en) | Wearable Behavior-Based Vision System | |
| US11869156B2 (en) | Augmented reality eyewear with speech bubbles and translation | |
| KR102653796B1 (en) | Generation of shockwaves in 3D depth videos and images | |
| US11689877B2 (en) | Immersive augmented reality experiences using spatial audio | |
| US20190285896A1 (en) | Transmission-type head mounted display apparatus, method of controlling transmission-type head mounted display apparatus, and computer program for controlling transmission-type head mounted display apparatus | |
| CN114761909A (en) | Content stabilization for head-mounted displays | |
| US11914770B2 (en) | Eyewear including shared object manipulation AR experiences | |
| US20230007222A1 (en) | Separable distortion disparity determination | |
| US11195341B1 (en) | Augmented reality eyewear with 3D costumes | |
| KR101682705B1 (en) | Method for Providing Augmented Reality by using RF Reader | |
| KR20230029923A (en) | Visual inertial tracking using rolling shutter cameras | |
| KR20110136038A (en) | System for tracking augmented reality device using several sensor | |
| KR101710198B1 (en) | Method for Displaying Hologram Object | |
| US20210406542A1 (en) | Augmented reality eyewear with mood sharing | |
| US20230007227A1 (en) | Augmented reality eyewear with x-ray effect | |
| KR20110136040A (en) | Terminal with augmented reality based on customer's eye | |
| KR20170086005A (en) | Method for Providing Augmented Reality by using Distance Difference | |
| KR20210002977A (en) | Augmented Reality Method Using Visual Direction | |
| KR20170027753A (en) | Method for Providing Adaptive Augmented Reality by using Tracking Eyesight |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20191227 Year of fee payment: 4 |