KR20110136012A - Augmented reality device to track eyesight direction and position - Google Patents
Augmented reality device to track eyesight direction and position Download PDFInfo
- Publication number
- KR20110136012A KR20110136012A KR1020100055766A KR20100055766A KR20110136012A KR 20110136012 A KR20110136012 A KR 20110136012A KR 1020100055766 A KR1020100055766 A KR 1020100055766A KR 20100055766 A KR20100055766 A KR 20100055766A KR 20110136012 A KR20110136012 A KR 20110136012A
- Authority
- KR
- South Korea
- Prior art keywords
- user
- transparent display
- display
- augmented reality
- gaze
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
본 발명은 사용자가 위치한 공간에 고정된 투명 디스플레이와 연결되며, 사용자 위치에서 바라보는 투명 디스플레이 너머의 객체와 연관된 가상현실 데이터를 상기 사용자의 시선방향에 맞게 투명 디스플레이에 출력하는 증강현실 장치를 제공하는 것이다.
The present invention provides an augmented reality device which is connected to a transparent display fixed in a space where a user is located and outputs virtual reality data associated with an object beyond the transparent display viewed from a user's location to the transparent display in accordance with the user's gaze direction. will be.
디스플레이 장치를 통해 표시되는 현실은 카메라를 통해 실제 세계를 촬영한 실제현실(Full Reality)과 실제 세계에는 존재하지 않으나 컴퓨터를 통해 만들어진 가상 세계를 표현하는 가상현실(Virtual Reality)로 나뉘며, SF(Science Fiction) 영화와 같이 미리 정해진 장면 시나리오에 따라 블루스크린 앞에서 실제현실을 촬영하고 여기에 가상현실을 조합한 크로마키현실(Chroma-Key Reality)이 존재하며, 크로마키현실은 분류 상 가상현실에 속한다.
The reality displayed through the display device is divided into real reality, which photographs the real world through a camera, and virtual reality, which does not exist in the real world but represents a virtual world created by a computer. Fiction) Chroma-Key Reality is a combination of virtual reality filmed in front of a blue screen according to a predetermined scene scenario like a movie, and Chroma-key reality belongs to virtual reality by classification.
최근 정보 통신 지속적인 기술의 발전으로 실제현실 상의 객체에 실시간으로 가상현실 데이터를 표시하는 증강현실(Augmented Reality)이 제안되었다. 증강현실은 SF영화와 같이 미리 정해진 장면 시나리오가 없다는 점, 실제현실을 블루스크린 앞에서 촬영하지 않는 점에서 크로마키현실과 구분된다.
Recently, with the continuous development of information and communication technology, Augmented Reality, which displays virtual reality data in real time on objects in real reality, has been proposed. Augmented reality is distinguished from chromakey reality in that there is no pre-determined scene scenario like a science fiction movie, and the real reality is not photographed in front of a blue screen.
상기 증강현실에서 실제현실 상에 가상현실 데이터를 표시할 객체를 결정하는 방법으로는, 실제현실에 마커(Marker)를 표시한 후 상기 마커를 인식하여 상기 마커 상에 가상현실 데이터를 표시하는 마커 방식 증강현실과, 실제현실에 마커를 표시하지 않고 실제현실 상의 객체를 직접 인식하여 가상현실 데이터를 표시하는 마커리스(Markerless) 증강현실이 존재한다. 현재 마커 방식 증강현실은 각각의 마커를 이용하여 몇 가지 시범 서비스가 제공되고 있으나 마커 구성에 대한 표준화가 전혀 존재하지 않으며, 마커리스 증강현실은 스튜디오에서 미리 정해진 객체를 촬영한 실제현실을 이용하는 경우를 제외하고는 객체 인식의 불안정성으로 인해 시범되지 못하고 있다.
The method of determining an object to display the virtual reality data on the real reality in the augmented reality, a marker method for displaying the virtual reality data on the marker after displaying a marker (Marker) in the real reality to recognize the marker Augmented reality and markerless augmented reality exist for displaying virtual reality data by directly recognizing objects on the reality without displaying a marker on the reality. Currently, there are several demonstration services for marker augmented reality using each marker. However, there is no standardization of marker composition, and markerless augmented reality uses the reality of shooting a predetermined object in a studio. Except for this, the instability of object recognition has not been demonstrated.
또한, 상기 증강현실에서 실제현실에 가상현실 데이터를 표시하는 방법으로는, 카메라를 통해 촬영되어 저장매체에 저장된 실제현실로부터 마커/마커리스 방식으로 객체를 인식하고 상기 인식된 객체 상에 가상현실 데이터를 표시하는 방법과, 카메라를 통해 실시간 촬영되는 실제현실로부터 마커/마커리스 방식으로 객체를 인식하고 상기 인식된 객체 상에 가상현실 데이터를 표시하는 방법이 존재하며, 상술된 방법 이외에 카메라를 통해 실제현실을 촬영하지 않고 인간의 눈이 그 너머의 실제현실을 바라보는 투명한 물건(예컨대, 안경, 고글 등)을 투명 디스플레이로 이용하고 센서 기술을 통해 상기 인간의 눈이 투명 디스플레이 너머의 객체를 인식하여 상기 투명 디스플레이 상에 가상현실 데이터를 표시하는 방법이 이론적으로 존재한다.
In addition, as a method of displaying virtual reality data in the augmented reality in the augmented reality, the object is recognized in a marker / markerless method from a real reality captured by the camera and stored in the storage medium and the virtual reality data on the recognized object And a method of recognizing an object in a marker / markerless manner and displaying virtual reality data on the recognized object from a real reality photographed in real time through a camera. By using transparent objects (e.g. glasses, goggles, etc.) that the human eye looks beyond the real reality without shooting reality, the human eye recognizes objects beyond the transparent display through sensor technology. There is a theoretical method of displaying virtual reality data on the transparent display.
한편 상기 증강현실은 건물의 유리창 또는 자동차 운전석 전면의 유리창을 투명 디스플레이로 사용하여 상기 투명 디스플레이 건너편의 객체와 연관된 가상현실 데이터를 상기 투명 디스플레이 상에 표시할 수 있다. 그런데, 상기와 같은 투명 디스플레이는 사용자의 위치가 고정되어 있지 않기 때문에 안경, 고글과 달리 사용자의 시선만 추적해서는 투명 디스플레이 건너편의 객체와 사용자의 시선방향을 일치시켜 출력할 수 없는 난해한 문제점을 지니고 있다.
Meanwhile, the augmented reality may display virtual reality data associated with an object across the transparent display on the transparent display using a glass window of a building or a glass window in front of a driver's seat as a transparent display. However, the transparent display as described above has a difficult problem that, unlike glasses and goggles, the user's gaze direction cannot be matched with the user's eyeline direction by outputting the user's gaze, unlike glasses and goggles. .
상기와 같은 문제점을 해소하기 위한 본 발명의 목적은, 사용자가 위치한 공간에 고정된 투명 디스플레이와 연결된 증강현실 장치에서 사용자 위치에서 바라보는 투명 디스플레이 너머의 객체와 연관된 가상현실 데이터를 상기 사용자의 시선방향에 맞게 투명 디스플레이에 출력하는 것이다.
An object of the present invention for solving the above problems, the user's gaze direction of the virtual reality data associated with the object beyond the transparent display viewed from the user position in the augmented reality device connected to the transparent display fixed in the space where the user is located Will be output on a transparent display.
본 발명에 따른 위치와 시선방향을 추적하는 증강현실 장치는, 사용자가 위치한 공간에 고정된 투명 디스플레이와 연결되며, 사용자에 대한 위치 추적 센서와 시선 추적 센서를 구비하여 상기 투명 디스플레이에 공간 밖의 객체와 연관된 가상현실 데이터를 표시하도록 시선방향을 추적하는 증강현실 장치에 있어서, 상기 투명 디스플레이 면을 x-y축으로 하고, 상기 투명 디스플레이 면과 수직 방향을 z축으로 하는 3차원 좌표계를 구성하는 좌표계 구성부와, 상기 3차원 좌표계 상의 원점을 기준으로 상기 투명 디스플레이가 설치된 공간 안에서 상기 투명 디스플레이 너머 공간 밖에 위치한 하나 이상의 객체에 대한 객체 위치 좌표 값을 저장하는 객체 위치 저장부와, 상기 위치 추적 센서를 통해 상기 3차원 좌표계 상의 원점을 기준으로 공간 내 위치한 사용자의 위치를 추적하여 사용자 위치 좌표 값을 산출하는 사용자 위치 추적부와, 상기 시선 추적 센서를 통해 상기 사용자의 시선이 투명 디스플레이를 향하는지 확인하는 시선 확인부와, 상기 사용자의 시선이 상기 투명 디스플레이를 향하면, 상기 시선 추적 센서를 통해 상기 사용자의 시선방향을 추적하는 시선방향 추적부와, 상기 시선방향의 연장선이 상기 객체 위치 좌표 값과 기 설정된 거리 이내에 위치하는 n(n>=1)개의 객체에 대한 객체 위치 좌표 값을 확인하는 객체 확인부와, 상기 n개의 객체 위치 좌표 값과 사용자 위치 좌표 값을 연결한 직선이 상기 투명 디스플레이와 만나는 n개의 디스플레이 좌표 값을 산출하는 디스플레이 좌표 산출부와, 상기 n개의 디스플레이 좌표 값에 n개의 객체와 연관된 가상현실 데이터를 출력하는 증강현실 출력부를 구비한다.
The augmented reality device for tracking the position and the gaze direction according to the present invention is connected to a transparent display fixed to the space in which the user is located, and provided with a position tracking sensor and a gaze tracking sensor for the user and the object out of space on the transparent display An augmented reality device for tracing a gaze direction to display associated virtual reality data, the augmented reality device comprising: a coordinate system component for constructing a three-dimensional coordinate system having the xy axis as the transparent display surface and a z axis as the vertical direction with the transparent display surface; An object position storage unit configured to store object position coordinate values of at least one object located outside the space beyond the transparent display in a space where the transparent display is installed based on an origin on the 3D coordinate system; Located in space relative to the origin on the dimensional coordinate system A user position tracking unit configured to track a user's position to calculate a user position coordinate value, a gaze checking unit configured to check whether the user's gaze faces the transparent display through the gaze tracking sensor, and the gaze of the user on the transparent display Towards, the gaze tracking unit for tracking the gaze direction of the user through the gaze tracking sensor and n (n> = 1) objects in which the extension line in the gaze direction is located within a predetermined distance from the object position coordinate value. An object checking unit for checking an object position coordinate value for the display unit, a display coordinate calculating unit for calculating n display coordinate values where a straight line connecting the n object position coordinate values and the user position coordinate values meets the transparent display; Augmented reality for outputting virtual reality data associated with n objects to the n display coordinate values And a power unit.
본 발명에 따른 위치와 시선방향을 추적하는 증강현실 장치는, 상기 투명 디스플레이 면에서 기 설정된 거리 이내에 위치하는 증강현실 표시 대상 사용자를 확인하는 사용자 확인부를 더 구비할 수 있다.
The augmented reality device for tracking the position and the gaze direction according to the present invention may further include a user confirmation unit for identifying an augmented reality display target user located within a predetermined distance from the transparent display surface.
본 발명에 따른 위치와 시선방향을 추적하는 증강현실 장치에 있어서, 상기 디스플레이 좌표 산출부는, 상기 n개의 디스플레이 좌표 값을 포함하여 상기 투명 디스플레이 상에 공간 밖의 객체에 대한 가상현실 데이터를 표시할 증강현실 표시 대상 좌표 영역을 산출할 수 있다.
In the augmented reality device for tracking the position and the gaze direction according to the present invention, the display coordinate calculation unit, augmented reality to display the virtual reality data for the object out of space on the transparent display including the n display coordinate values The display target coordinate area can be calculated.
본 발명에 따른 위치와 시선방향을 추적하는 증강현실 장치에 있어서, 상기 증강현실 표시 대상 좌표 영역은 상기 투명 디스플레이 상에 먼저 산출된 제2의 증강현실 표시 대상 좌표 영역과 중첩되지 않도록 산출되는 것을 특징으로 하는 위치와 시선방향을 추적할 수 있다.
In the augmented reality device for tracking the position and the gaze direction according to the present invention, the augmented reality display target coordinate region is calculated so as not to overlap with the second augmented reality display target coordinate region calculated on the transparent display first. Position and line of sight can be tracked.
본 발명에 따르면, 건물의 유리창 또는 자동차 운전석 전면의 유리창을 투명 디스플레이로 사용하는 경우, 상기 건물 또는 자동차 운전석에서 사용자의 위치에 맞게 투명 디스플레이 건너편의 객체와 사용자의 시선방향을 일치시켜 증강현실을 출력하는 이점이 있다.
According to the present invention, when using the glass window of the building or the front of the driver's seat as a transparent display, augmented reality is output by matching the user's gaze direction with the object across the transparent display in accordance with the user's position in the building or the driver's seat This has the advantage.
도 1은 본 발명의 실시 방법에 따른 증강현실 장치 구성을 도시한 도면이다.
도 2는 본 발명의 실시 방법에 따른 사용자 위치와 시선을 추적하여 투명 디스플레이에 증강현실을 출력하는 과정을 도시한 도면이다.
도 3와 도면4는 본 발명의 실시 방법에 따라 투명 디스플레이에 증강현실을 출력하는 것을 예시한 도면이다.1 is a view showing a configuration of augmented reality device according to an embodiment of the present invention.
2 is a diagram illustrating a process of outputting augmented reality to a transparent display by tracking a user's position and gaze according to an exemplary embodiment of the present invention.
3 and 4 are views illustrating outputting augmented reality on a transparent display according to an embodiment of the present invention.
이하 첨부된 도면과 설명을 참조하여 본 발명의 바람직한 실시예에 대한 동작 원리를 상세히 설명한다. 다만, 하기에 도시되는 도면과 후술되는 설명은 본 발명의 특징을 효과적으로 설명하기 위한 여러 가지 방법 중에서 바람직한 실시 방법에 대한 것이며, 본 발명이 하기의 도면과 설명만으로 한정되는 것은 아니다. 또한, 하기에서 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서, 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 발명에서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
Hereinafter, with reference to the accompanying drawings and description will be described in detail the operating principle of the preferred embodiment of the present invention. However, the drawings and the following description shown below are for the preferred method among various methods for effectively explaining the features of the present invention, the present invention is not limited only to the drawings and description below. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. In addition, terms to be described below are terms defined in consideration of functions in the present invention, which may vary according to a user's or operator's intention or custom. Therefore, the definition should be made based on the contents throughout the present invention.
결과적으로, 본 발명의 기술적 사상은 청구범위에 의해 결정되며, 이하 실시예는 진보적인 본 발명의 기술적 사상을 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 효율적으로 설명하기 위한 일 수단일 뿐이다.
As a result, the technical spirit of the present invention is determined by the claims, and the following examples are one means for efficiently explaining the technical spirit of the present invention to those skilled in the art to which the present invention pertains. It is only.
도면1은 본 발명의 실시 방법에 따른 증강현실 장치(100) 구성을 도시한 도면이다.
1 is a view showing the configuration of augmented reality device 100 according to an embodiment of the present invention.
보다 상세하게 본 도면1은 지면(또는 건물 바닥)과 수직방향으로 건물에 고정된 투명 디스플레이와 연결된 증강현실 장치(100)에서 사용자가 서있는 위치에서 바라보는 투명 디스플레이 너머의 객체와 연관된 가상현실 데이터를 상기 사용자의 시선방향에 맞게 투명 디스플레이에 출력하는 구성을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면1을 참조 및/또는 변형하여 상기 증강현실 장치(100) 구성에 대한 다양한 실시 방법(예컨대, 일부 구성부가 생략되거나, 또는 세분화되거나, 또는 합쳐진 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면1에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.
In more detail, FIG. 1 illustrates virtual reality data associated with an object beyond a transparent display viewed from a user's standing position in an augmented reality device 100 connected to a transparent display fixed to a building perpendicular to the ground (or building floor). As shown in the configuration for outputting to the transparent display in accordance with the user's line of sight, those skilled in the art to which the present invention pertains, the augmented reality device 100 by referring to and / or modifying the drawing 1 Various implementation methods for the configuration (eg, implementation methods in which some components are omitted, subdivided, or combined) may be inferred, but the present invention includes all the implementation methods inferred, and The technical features are not limited only to the illustrated embodiment.
본 발명의 증강현실 장치(100)는 상기 투명 디스플레이가 설치된 건물 안에 존재하는 사용자의 위치를 추적하는 기능, 상기 사용자의 시선을 추적하는 기능, 상기 투명 디스플레이에 가상현실 데이터를 출력하는 기능을 구비한 장치의 총칭으로서, 상기 사용자의 위치를 추적하는 방식, 사용자의 시선을 추적하는 방식, 상기 투명 디스플레이에 가상현실 데이터를 출력하는 방식에 의해 한정되지 아니한다. 예를들어, 상기 가상현실 데이터는 장치 내 메모리에 저장되어 있거나, 또는 통신망을 통해 수신되거나, 또는 미리 준비된 하나 이상의 폴리곤(Polygon) 데이터와 텍스쳐(Texture) 데이터를 조합하여 실시간 생성될 수 있다.
The augmented reality device 100 of the present invention has a function of tracking the location of the user existing in the building in which the transparent display is installed, the function of tracking the eyes of the user, and outputting virtual reality data on the transparent display. The generic term for the device is not limited to the method of tracking the location of the user, the method of tracking the gaze of the user, and the method of outputting virtual reality data on the transparent display. For example, the virtual reality data may be stored in memory in the device, received through a communication network, or generated in real time by combining one or more polygon data and texture data prepared in advance.
또한, 상기 증강현실 장치(100)는 장치를 구성하는 구조에 의해 한정되지 아니한다. 예를들어, 상기 증강현실 장치(100)는 하나의 케이스 내에 각 구성부가 통합 구비된 독립 장치 형태, 연결된 두개 이상의 장치에 각 구성부가 분리되어 구비된 연동 장치 형태, 특정 물건/건물/공간에 설치된 형태 등으로 구현될 수 있다.
In addition, the augmented reality device 100 is not limited by the structure constituting the device. For example, the augmented reality device 100 is in the form of a stand-alone device with each component unit integrated in one case, the form of an interlocking device provided separately from each component connected to two or more devices, installed in a specific object / building / space It may be implemented in the form and the like.
도면1을 참조하면, 상기 증강현실 장치(100)는, 제어부(105), 메모리부(135), 출력부(125), 센서부(110)를 구비하며, 가상현실 데이터를 획득하는 방식에 따라 통신부(130)를 더 구비할 수 있다.
Referring to FIG. 1, the augmented reality device 100 includes a control unit 105, a memory unit 135, an output unit 125, and a sensor unit 110, according to a method of acquiring virtual reality data. The communication unit 130 may be further provided.
상기 제어부(105)는 물리적으로 프로세서와 실행 메모리와 버스를 포함하며, 기능적으로 상기 증강현실 장치(100)에 구비된 프로그램이 상기 실행 메모리로 로드되어 상기 프로세서에 의해 연산되도록 처리하는 기록매체 기능을 수행한다. 이에 본 도면1은 상기 증강현실 장치(100)에 구비되는 프로그램 구성부를 편의상 상기 제어부(105) 내에 도시하여 설명하기로 한다.
The control unit 105 physically includes a processor, an execution memory, and a bus, and functionally records a function of processing a program included in the augmented reality device 100 to be loaded into the execution memory and operated by the processor. To perform. 1 will be described with reference to the program component provided in the augmented reality device 100 in the controller 105 for convenience.
상기 메모리부(135)는 비휘발성 메모리를 포함하며, 기능적으로 상기 제어부(105)로 로딩될 프로그램 코드와 상기 프로그램 코드가 사용하는 데이터 셋트를 저장/유지하는 저장매체 기능을 수행한다. 여기서, 상기 프로그램 코드는 상기 증강현실 장치(100)의 기본 동작을 운영/제어하는 시스템 프로그램 코드와, 상기 증강현실 장치(100)에 구비되는 각종 애플리케이션 서비스를 제공하는 응용 프로그램 코드를 포함한다.
The memory unit 135 includes a nonvolatile memory and functionally stores a program medium to be loaded into the control unit 105 and a storage medium for storing and maintaining a data set used by the program code. Here, the program code includes a system program code for operating / controlling the basic operations of the augmented reality device 100, and an application program code for providing various application services provided in the augmented reality device 100.
본 발명의 실시 방법에 따르면, 상기 메모리부(135)는 상기 투명 디스플레이가 설치된 건물 안에서 상기 투명 디스플레이 너머 건물 밖에 위치한 하나 이상의 객체에 대한 객체 위치 좌표 값과, 상기 객체 위치 좌표 값에 대응하는 객체와 연관된 가상현실 데이터를 연결하여 저장하며, 이 경우 상기 메모리부(135)는 상기 가상현실 데이터를 획득하는 가상현실 획득수단의 기능을 수행할 수 있다.
According to the exemplary embodiment of the present invention, the memory unit 135 may include an object location coordinate value of at least one object located outside the building beyond the transparent display, and an object corresponding to the object location coordinate value. The associated virtual reality data is connected and stored, and in this case, the memory unit 135 may perform a function of virtual reality acquiring means for acquiring the virtual reality data.
상기 출력부(125)는 지면(또는 건물 바닥)과 수직방향으로 건물에 고정된 투명 디스플레이로 가상현실 데이터를 출력시키는 출력모듈을 포함하며, 상기 사용자의 시선방향과 만나는 디스플레이 좌표에 상기 가상현실 데이터를 출력시킨다.
The output unit 125 includes an output module for outputting virtual reality data to a transparent display fixed to a building in a direction perpendicular to the ground (or a building floor), and the virtual reality data in display coordinates meeting the user's gaze direction. Outputs
상기 통신부(130)는 어느 하나의 통신 규격과 프로토콜에 따라 유선 통신망과 무선 통신망 중 어느 하나의 통신망에 접속하는 통신모듈을 포함하며, 상기 통신망을 서버(또는 장치)와 통신채널을 연결하거나 또는 다른 증강현실 장치(100)와 통신채널을 연결하는 기능을 수행한다.
The communication unit 130 includes a communication module for connecting to any one of a wired communication network and a wireless communication network according to any one communication standard and protocol, and connects the communication network to a server (or device) and a communication channel or other Performs a function of connecting the augmented reality device 100 and the communication channel.
본 발명의 실시 방법에 따르면, 상기 통신부(130)는 통신망 상의 서버(또는 장치)에 저장된 가상현실 데이터를 수신하는 가상현실 획득수단의 기능을 수행할 수 있다.
According to an embodiment of the present invention, the communication unit 130 may perform a function of virtual reality acquiring means for receiving virtual reality data stored in a server (or device) on a communication network.
상기 센서부(110)는 건물 내 사용자의 위치를 추적하는 위치 추적 센서(120) 및 상기 사용자의 시선방향을 추적하는 시선 추적 센서(115)로부터 센싱되는 센서신호를 획득하는 장치를 포함한다.
The sensor unit 110 includes a device for obtaining a sensor signal sensed from a location tracking sensor 120 for tracking a location of a user in a building and a gaze tracking sensor 115 for tracking the gaze direction of the user.
본 발명의 실시 방법에 따르면, 상기 위치 추적 센서(120)와 시선 추적 센서(115)는 하나의 센서로 통합되어 구성될 수 있으며, 별도의 센서로 구성될 수 있다.
According to the exemplary embodiment of the present invention, the position tracking sensor 120 and the eye tracking sensor 115 may be integrated into one sensor and configured as separate sensors.
본 발명의 실시 방법에 따르면, 상기 위치 추적 센서(120)는 광학 방식, 화상 입력 방식, 전자파 방식, 사운드 판독 방식 중 어느 하나의 센서 방식을 통해 사용자의 위치를 추적한다.
According to the exemplary embodiment of the present invention, the position tracking sensor 120 tracks the position of the user through any one of an optical method, an image input method, an electromagnetic wave method, and a sound reading method.
여기서, 상기 광학 방식 위치 추적은 상기 위치 추적 센서(120)에서 육안으로 식별이 난해하며 인체에 무해한 광선(예컨대, 적외선)을 건물 내에 주사하고, 상기 건물 내 사용자를 통해 반사되는 광선을 인식하여 사용자의 위치를 추적하는 방식이다.
Here, the optical location tracking is difficult to visually identify from the location sensor 120 and scans the light (eg, infrared light) harmless to the human body in the building, and recognizes the light reflected through the user in the building to the user It is a way to track the location of the.
상기 화상 입력 방식 위치 추적은 상기 위치 추적 센서(120)에서 CCD(Charge Coupled Device) 소자를 포함하는 카메라를 통해 건물 내 화상 데이터를 입력하고, 상기 화상 데이터를 판독하여 사용자의 위치를 추적하는 방식이다.
The image input method location tracking is a method in which the location tracking sensor 120 inputs image data in a building through a camera including a CCD (Charge Coupled Device) element, and reads the image data to track a user's location. .
상기 전자파 방식 위치 추적은 상기 건물 내 사용자가 소지한 전자파 송출장치(예컨대, 휴대폰 등)에서 송출되는 전자파 신호를 수신하고, 삼각측량 방식으로 상기 사용자의 위치를 추적하는 방식이다.
The electromagnetic location tracking is a method of receiving an electromagnetic signal transmitted from an electromagnetic wave transmitting apparatus (for example, a mobile phone, etc.) possessed by a user in the building, and tracking the location of the user by triangulation.
상기 사운드 판독 방식 위치 추적은 사람의 귀에는 들리지 않는 사운드(예컨대, 초음파)를 건물 내에 주사하고, 상기 건물 내 사용자를 통해 반사되는 사운드를 인식하여 사용자의 위치를 추적하는 방식이다.
The sound reading method of location tracking is a method of injecting a sound (eg, ultrasonic wave) that is inaudible to a human ear into a building, and recognizing the sound reflected by the user in the building to track the location of the user.
그러나, 상기 위치 추적 센서(120)가 사용자의 위치를 추적하는 방식이 상술된 방식으로 한정되는 것은 결코 아니며, 당업자에 따라 다양하게 변형하여 실시할 수 있으며, 본 발명은 상기 변형 가능한 모든 실시예를 포함한다.
However, the manner in which the position tracking sensor 120 tracks the user's position is not limited to the above-described method, and may be variously modified and implemented by those skilled in the art. Include.
본 발명의 실시 방법에 따르면, 상기 시선 추적 센서(115)는 광학 방식과 화상 입력 방식 중 어느 하나의 센서 방식을 통해 사용자의 시선을 추적한다.
According to the exemplary embodiment of the present invention, the gaze tracking sensor 115 tracks the gaze of the user through any one of an optical method and an image input method.
여기서, 상기 광학 방식 위치 추적은 상기 시선 추적 센서(115)에서 육안으로 식별이 난해하며 인체에 무해한 광선(예컨대, 적외선)을 사용자에게 선택적으로 주사하고, 상기 사용자로부터 반사되는 광선을 인식하여 사용자의 시선을 추적하는 방식이다.
Here, the optical position tracking is visually difficult to identify with the eye tracking sensor 115, and selectively scans the user with a light ray (for example, infrared ray) that is harmless to the human body, and recognizes the light reflected from the user to It's a way to track your eyes.
상기 화상 입력 방식 시선 추적은 상기 시선 추적 센서(115)에서 CCD(Charge Coupled Device) 소자를 포함하는 카메라를 통해 사용자에 대한 화상 데이터를 입력하고, 상기 화상 데이터를 판독하여 사용자의 시선을 추적하는 방식이다.
The image input method gaze tracking is a method in which the gaze tracking sensor 115 inputs image data to a user through a camera including a CCD (Charge Coupled Device) element, and reads the image data to track the gaze of the user. to be.
그러나, 상기 시선 추적 센서(115)가 사용자의 시선을 추적하는 방식이 상술된 방식으로 한정되는 것은 결코 아니며, 당업자에 따라 다양하게 변형하여 실시할 수 있으며, 본 발명은 상기 변형 가능한 모든 실시예를 포함한다.
However, the gaze tracking sensor 115 is not limited to the above-described method of tracking the gaze of the user, and may be variously modified and implemented by those skilled in the art. Include.
도면1을 참조하면, 상기 증강현실 장치(100)는, 상기 투명 디스플레이 면을 x-y축으로 하고, 상기 투명 디스플레이 면과 수직 방향을 z축으로 하는 3차원 좌표계를 구성하는 좌표계 구성부(140)와, 상기 3차원 좌표계 상의 원점을 기준으로 상기 투명 디스플레이가 설치된 건물 안에서 상기 투명 디스플레이 너머 건물 밖에 위치한 하나 이상의 객체에 대한 객체 위치 좌표 값을 저장하는 객체 위치 저장부(145)와, 상기 위치 추적 센서(120)를 통해 상기 3차원 좌표계 상의 원점을 기준으로 건물 내 위치한 사용자의 위치를 추적하여 사용자 위치 좌표 값을 산출하는 사용자 위치 추적부(150)와, 상기 시선 추적 센서(115)를 통해 상기 사용자의 시선이 투명 디스플레이를 향하는지 확인하는 시선 확인부(155)와, 상기 사용자의 시선이 상기 투명 디스플레이를 향하면, 상기 시선 추적 센서(115)를 통해 상기 사용자의 시선방향을 추적하는 시선방향 추적부(160)와, 상기 시선방향의 연장선이 상기 객체 위치 좌표 값과 기 설정된 거리 이내에 위치하는 n(n>=1)개의 객체에 대한 객체 위치 좌표 값을 확인하는 객체 확인부(165)와, 상기 n개의 객체 위치 좌표 값과 사용자 위치 좌표 값을 연결한 직선이 상기 투명 디스플레이와 만나는 n개의 디스플레이 좌표 값을 산출하는 디스플레이 좌표 산출부(170)와, 상기 n개의 디스플레이 좌표 값에 n개의 객체와 연관된 가상현실 데이터를 출력하는 증강현실 출력부(180)를 구비하며, 상기 투명 디스플레이 면에서 기 설정된 거리 이내에 위치하는 증강현실 표시 대상 사용자를 확인하는 사용자 확인부(175)를 더 구비할 수 있다. 본 발명의 실시 방법에 따르면, 상기 좌표계 구성부(140), 객체 위치 저장부(145), 사용자 위치 추적부(150), 시선 확인부(155), 시선방향 추적부(160), 객체 확인부(165), 디스플레이 좌표 산출부(170), 증강현실 출력부(180) 중 하나 이상의 구성부는 상기 제어부(105), 메모리부(135), 출력부(125), 센서부(110) 및 통신부(130)를 구비한 증강현실 장치(100)와 연결된 서버에 구비될 수 있으며, 실시 방법에 따라 일부 구성요소는 증강현실 장치(100)에 구비되고 나머지 구성부는 상기 서버에 구비될 수 있다.
Referring to FIG. 1, the augmented reality apparatus 100 includes a coordinate system configuration unit 140 constituting a three-dimensional coordinate system having the xy axis as the transparent display surface and a z axis as the vertical direction with the transparent display surface. An object position storage unit 145 for storing object position coordinate values of at least one object located outside the building beyond the transparent display in a building on which the transparent display is installed based on an origin on the 3D coordinate system; A user location tracking unit 150 for tracking a location of a user located in a building based on an origin on the 3D coordinate system and calculating a user location coordinate value through the gaze tracking sensor 115; When the eyes of the user are directed toward the transparent display, the gaze checker 155 for checking whether the eyes are directed to the transparent display, A gaze tracking unit 160 for tracking the gaze direction of the user through the gaze tracking sensor 115 and n (n> = 1) in which the extension line in the gaze direction is located within a predetermined distance from the object position coordinate value. An object checking unit 165 for checking object position coordinate values for) objects and a straight line connecting the n object position coordinate values and the user position coordinate values to calculate n display coordinate values that meet the transparent display An augmented reality output unit 180 for outputting virtual reality data associated with n objects to the n display coordinate values and a display coordinate calculator 170, and being located within a predetermined distance from the transparent display surface. The apparatus may further include a user confirmation unit 175 for confirming a reality display target user. According to an embodiment of the present invention, the coordinate system configuration unit 140, the object position storage unit 145, the user position tracking unit 150, the eye gaze checker 155, the eye gaze tracking unit 160, the object confirmation unit One or more components of the display coordinate calculation unit 170 and the augmented reality output unit 180 may include the control unit 105, the memory unit 135, the output unit 125, the sensor unit 110, and the communication unit ( It may be provided in a server connected to the augmented reality device 100 having a 130, some components may be provided in the augmented reality device 100 according to the implementation method and the remaining components may be provided in the server.
상기 좌표계 구성부(140)는 지면(또는 건물 바닥)과 수직방향으로 건물에 고정된 투명 디스플레이 면을 x-y축으로 하고, 상기 투명 디스플레이 면과 수직 방향을 z축으로 하는 3차원 좌표계를 구성하며, 상기 z축 방향에 따라 건물 바깥쪽과 건물 안쪽이 결정된다. 상기 3차원 좌표계의 원점은 건물 안, 투명 디스플레이 면, 간물 바깥 중 어디여도 상관 없다.
The coordinate system configuration unit 140 configures a three-dimensional coordinate system having the xy axis as a transparent display surface fixed to a building in a direction perpendicular to the ground (or a building floor), and a z direction as a vertical direction with the transparent display surface. The outside of the building and the inside of the building are determined according to the z-axis direction. The origin of the three-dimensional coordinate system may be anywhere in a building, on a transparent display surface, or outside of an interstitial object.
상기 객체 위치 저장부(145)는 상기 통신부(130)를 통해 사용자 단말과 연결되며, 상기 사용자 단말로부터 상기 3차원 좌표계 상의 원점을 기준으로 상기 투명 디스플레이가 설치된 건물 안에서 상기 투명 디스플레이 너머 건물 밖에 위치한 하나 이상의 객체에 대한 객체 위치 좌표 값을 수신하여 상기 메모리부(135)에 저장된다.
The object location storage unit 145 is connected to the user terminal through the communication unit 130, the one located outside the building beyond the transparent display in the building in which the transparent display is installed based on the origin on the three-dimensional coordinate system from the user terminal The object position coordinate values of the above objects are received and stored in the memory unit 135.
여기서, 상기 객체 위치 좌표 값은 상기 객체 위치 좌표에 위치하는 객체와 연관된 하나 이상의 가상현실 데이터와 연결되어 저장된다.
The object position coordinate value is stored in connection with one or more virtual reality data associated with an object located at the object position coordinate.
본 발명의 다른 실시 방법에 따르면, 상기 메모리부(135)는 상기 객체 위치 좌표 값을 저장하고, 상기 객체와 연관된 가상현실 데이터는 상기 통신부(130)를 통해 상기 증강현실 장치(100)와 연결된 서버 상에 저장될 수 있다.
According to another exemplary embodiment of the present invention, the memory unit 135 stores the object position coordinate value, and virtual reality data associated with the object is connected to the augmented reality device 100 through the communication unit 130. Can be stored on.
상기 사용자 위치 추적부(150)는 상기 위치 추적 센서(120)를 통해 상기 객체 위치 좌표 값을 결정한 3차원 좌표계와 동일한 좌표계의 원점을 기준으로 건물 내 위치한 사용자의 위치를 추적하여 사용자 위치 좌표 값을 산출한다.
The user location tracking unit 150 tracks the location of the user located in the building based on the origin of the same coordinate system as the 3D coordinate system that determined the object location coordinate value through the location sensor 120 to determine the user location coordinate value. Calculate.
여기서, 상기 객체 위치 좌표 값과 사용자 위치 좌표 값은 동일한 3차원 좌표 가상의 좌표 값이다.
Here, the object position coordinate value and the user position coordinate value are coordinate values of the same three-dimensional coordinate virtual.
상기 사용자 확인부(175)는 상기 사용자 위치 추적부(150)를 통해 상기 사용자 위치 좌표 값이 산출되면, 상기 사용자 위치 좌표 값을 통해 상기 투명 디스플레이 면과 사용자 간 거리를 산출하고, 상기 산출된 거리가 기 설정된 거리 이내인 사용자를 증강현실 표시 대상 사용자로 확인할 수 있다.
The user identification unit 175 calculates the distance between the transparent display surface and the user based on the user position coordinate value when the user position coordinate value is calculated through the user position tracking unit 150, and calculates the calculated distance. The user who is within the preset distance may be identified as the augmented reality display target user.
상기 시선 확인부(155)는 상기 시선 추적 센서(115)를 통해 상기 사용자의 시선이 투명 디스플레이를 향하는지 주기적으로 확인한다. 만약 상기 사용자 확인부(175)를 통해 증강현실 표시 대상 사용자가 확인되는 경우, 상기 시선 확인부(155)는 상기 증강현실 표시 대상 사용자의 시선이 투명 디스플레이를 향하는지 선택적으로 확인할 수 있다.
The gaze checker 155 periodically checks the gaze of the user toward the transparent display through the gaze tracking sensor 115. If the augmented reality display target user is confirmed through the user identification unit 175, the gaze confirmation unit 155 may selectively check whether the gaze of the augmented reality display target user is directed toward the transparent display.
상기 시선 확인부(155)를 통해 상기 사용자의 시선이 상기 투명 디스플레이를 향하면, 상기 시선방향 추적부(160)는 상기 시선 추적 센서(115)를 통해 상기 사용자의 시선방향을 추적한다.
When the gaze of the user faces the transparent display through the gaze checker 155, the gaze tracking unit 160 tracks the gaze direction of the user through the gaze tracking sensor 115.
여기서, 상기 사용자의 시선방향은 상기 객체 위치 좌표 값과 사용자 위치 좌표 값이 결정되는 3차원 좌표계 상의 직선의 방정식으로 표시될 수 있다.
Here, the gaze direction of the user may be represented by an equation of a straight line on the 3D coordinate system in which the object position coordinate value and the user position coordinate value are determined.
상기 사용자의 시선방향이 추적되면, 상기 객체 확인부(165)는 상기 시선방향의 연장선을 상기 메모리부(135)에 저장된 객체 위치 좌표 값이 표시되는 범위까지 확장하고, 상기 시선방향과 상기 메모리부(135)에 저장된 객체 위치 좌표 값 사이의 거리를 산출한다.
When the user's gaze direction is tracked, the object checking unit 165 extends the extension line in the gaze direction to a range where the object position coordinate value stored in the memory unit 135 is displayed, and the gaze direction and the memory unit The distance between the object position coordinate values stored at 135 is calculated.
여기서, 상기 시선방향과 객체 위치 좌표 값 사이의 거리는 직선과 점의 거리를 산출하는 방정식을 통해 산출될 수 있다.
Here, the distance between the visual direction and the object position coordinate value may be calculated through an equation for calculating the distance between the straight line and the point.
상기 시선방향과 객체 위치 좌표 값 사이의 거리가 산출되면, 상기 객체 확인부(165)는 상기 산출된 거리가 기 설정된 거리 이내에 위치하는 n(n>=1)개의 객체에 대한 객체 위치 좌표 값을 확인한다.
When the distance between the visual direction and the object position coordinate value is calculated, the object identification unit 165 calculates object position coordinate values for n (n> = 1) objects in which the calculated distance is located within a preset distance. Check it.
상기 시선방향과 기 설정된 거리 이내에 위치하는 n개의 객체 위치 좌표 값이 확인되면, 상기 디스플레이 좌표 산출부(170)는 상기 n개의 객체 위치 좌표 값과 상기 사용자 위치 좌표 값을 연결하는 직선의 방정식을 산출하고, 상기 직선의 방정식이 상기 투명 디스플레이 면(예컨대 x-y 좌표 면)과 만나는 좌표 값을 n개의 디스플레이 좌표 값으로 산출한다.
When the n object position coordinate values located within the predetermined distance with the visual direction are confirmed, the display coordinate calculator 170 calculates an equation of a straight line connecting the n object position coordinate values and the user position coordinate values. The coordinate value where the equation of the straight line meets the transparent display surface (for example, the xy coordinate surface) is calculated as n display coordinate values.
본 발명의 실시 방법에 따르면, 상기 n개의 디스플레이 좌표 값이 산출되는 경우, 상기 디스플레이 좌표 산출부(170)는 상기 n개의 디스플레이 좌표 값을 포함하여 상기 투명 디스플레이 상에 건물 밖의 객체에 대한 가상현실 데이터를 표시할 증강현실 표시 대상 좌표 영역을 산출할 수 있다. 여기서, 상기 증강현실 표시 대상 좌표 영역은 상기 투명 디스플레이 상에 먼저 산출된 제2의 증강현실 표시 대상 좌표 영역과 중첩되지 않도록 산출된다.
According to the exemplary embodiment of the present invention, when the n display coordinate values are calculated, the display coordinate calculator 170 includes the n display coordinate values and the virtual reality data of the object outside the building on the transparent display. An augmented reality display target coordinate area to display may be calculated. Here, the augmented reality display target coordinate area is calculated so as not to overlap with the second augmented reality display target coordinate area calculated on the transparent display.
상기 n개의 디스플레이 좌표 값이 산출되면, 상기 증강현실 출력부(180)는 상기 가상현실 획득수단을 통해 상기 n개의 디스플레이 좌표 값과 연결된 n개의 가상현실 데이터를 확인하고, 상기 n개의 디스플레이 좌표 값에 대응하는 투명 디스플레이 영역에 상기 확인된 n개의 가상현실 데이터를 출력한다.
When the n display coordinate values are calculated, the augmented reality output unit 180 checks n virtual reality data connected to the n display coordinate values through the virtual reality acquiring means, and applies the n display coordinate values to the n display coordinate values. The identified n virtual reality data are output to a corresponding transparent display area.
도면2는 본 발명의 실시 방법에 따른 사용자 위치와 시선을 추적하여 투명 디스플레이에 증강현실을 출력하는 과정을 도시한 도면이다.
2 is a diagram illustrating a process of outputting augmented reality to a transparent display by tracking a user's position and gaze according to an exemplary embodiment of the present invention.
보다 상세하게 본 도면2는 상기 도면1에 도시된 증강현실 장치(100)에서 지면(또는 건물 바닥)과 수직방향으로 건물에 고정된 투명 디스플레이에 건물 밖에 존재하는 객체와 연관된 가상현실 데이터를 사용자위 위치 별 시선방향과 매칭되는 디스플레이 좌표 영역에 출력하는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면2를 참조 및/또는 변형하여 상기 증강현실 출력 과정에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면2에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.
In more detail, in FIG. 2, in the augmented reality device 100 illustrated in FIG. 1, virtual reality data associated with an object outside the building is displayed on a transparent display fixed to the building in a direction perpendicular to the ground (or building floor). The process of outputting to a display coordinate area matched with the visual direction of each position, and those skilled in the art to which the present invention pertains, refer to and / or modify the drawing 2 in the augmented reality output process Various implementation methods (for example, some steps may be omitted, or the order may be changed) may be inferred, but the present invention includes all the implementation methods inferred, and the implementation method illustrated in FIG. The technical features are not limited only.
도면2를 참조하면, 증강현실 장치(100)는 상기 투명 디스플레이 면을 x-y축으로 하고, 상기 투명 디스플레이 면과 수직 방향을 z축으로 하는 3차원 좌표계를 구성하고(200), 상기 3차원 좌표계 상의 원점을 기준으로 상기 투명 디스플레이가 설치된 건물 안에서 상기 투명 디스플레이 너머 건물 밖에 위치한 하나 이상의 객체에 대한 객체 위치 좌표 값을 저장한다(205).
Referring to FIG. 2, the augmented reality device 100 configures a three-dimensional coordinate system having the xy-axis as the transparent display surface and a z-axis as the vertical direction with the transparent display surface (200), and on the three-dimensional coordinate system. An object position coordinate value of one or more objects located outside the building beyond the transparent display in the building where the transparent display is installed based on an origin is stored (205).
이후, 상기 증강현실 장치(100)는 상기 위치 추적 센서(120)를 통해 상기 3차원 좌표계 상의 원점을 기준으로 건물 내 위치한 사용자의 위치를 추적하여 사용자 위치 좌표 값을 산출하고(210), 상기 시선 추적 센서(115)를 통해 상기 사용자의 시선이 투명 디스플레이를 향하는지 확인한다(215).
Thereafter, the augmented reality device 100 calculates a user location coordinate value by tracking a location of a user located in a building based on an origin on the 3D coordinate system through the location tracking sensor 120 (210), and the gaze. The tracking sensor 115 checks whether the user's gaze faces the transparent display (215).
만약 상기 사용자의 시선이 상기 투명 디스플레이를 향하면(220), 상기 증강현실 장치(100)는 상기 시선 추적 센서(115)를 통해 상기 사용자의 시선방향을 추적하고(225), 상기 시선방향의 연장선이 상기 객체 위치 좌표 값과 기 설정된 거리 이내에 위치하는 n(n>=1)개의 객체에 대한 객체 위치 좌표 값을 확인하고(230), 상기 n개의 객체 위치 좌표 값과 사용자 위치 좌표 값을 연결한 직선이 상기 투명 디스플레이와 만나는 n개의 디스플레이 좌표 값을 산출하고(235), 상기 n개의 디스플레이 좌표 값에 n개의 객체와 연관된 가상현실 데이터를 출력한다(240).
If the user's gaze faces the transparent display (220), the augmented reality device 100 tracks the gaze direction of the user through the gaze tracking sensor 115 (225), the extension line of the gaze direction The object position coordinate values of the n (n> = 1) objects located within a preset distance with the object position coordinate values are checked (230), and a straight line connecting the n object position coordinate values and the user position coordinate values. N display coordinate values meeting the transparent display are calculated (235), and virtual reality data associated with n objects are output to the n display coordinate values (240).
도면3과 도면4는 본 발명의 실시 방법에 따라 투명 디스플레이에 증강현실을 출력하는 것을 예시한 도면이다.
3 and 4 illustrate augmented reality output on a transparent display according to an embodiment of the present invention.
구체적으로 도면3은 사용자위 위치를 고려하지 않고 투명 디스플레이에 증강현실을 출력하는 것을 예시한 것으로서, 도면3을 참조하면, 사용자는 뷰포인트(Viewpoint) A와 뷰포인트 A’에 위치할 수 있다. 만약 사용자가 뷰포인트A의 위치에서 투명 디스플레이 건너편의 객체를 바라보고 있을 때, 상기 객체에 투명 디스플레이 건너편의 객체가 공(Ball)이라는 노란색 풍선 도움말을 가상현실 데이터로 표시한다면, 뷰포인트 A 이미지(Viewpoint A Image)와 같이 표시된다. 이 때, 뷰포인트A’에 위치한 사용자는 뷰포인트 A’ 이미지(Viewpoint A’ Image)와 같이 자신의 시선방향과 일치하지 않게 가상현실 데이터가 출력된다.
Specifically, FIG. 3 illustrates an example of outputting augmented reality to the transparent display without considering the position of the user. Referring to FIG. 3, the user may be located at the viewpoint A and the viewpoint A '. If the user is looking at an object across the transparent display at the location of viewpoint A, if the object across the transparent display displays a yellow balloon help with a ball called virtual reality data, the viewpoint A image ( Viewpoint A Image). At this time, the user located in the viewpoint A 'is output the virtual reality data does not match the direction of their own eyes, such as the viewpoint A' Image (Viewpoint A 'Image).
도면4는 사용자의 위치를 고려하여 투명 디스플레이에 증강현실을 출력하는 것을 예시한 것으로서, 도면4를 참조하면, 사용자는 뷰포인트 A에 위치하거나 또는 뷰포인트 A’에 위치하는지 상관 없이 자신이 위치에서 투명 디스플레이 건너편의 객체와 연관된 가상현실 데이터를 해당 객체가 보이는 시선방향과 일치시켜 출력된다.
4 illustrates outputting augmented reality to a transparent display in consideration of a user's position. Referring to FIG. 4, a user may be located at a viewpoint A or a viewpoint A ', regardless of whether the user is at the viewpoint A The virtual reality data associated with an object across the transparent display is output in accordance with the visual direction of the object.
100 : 증강현실 장치 140 : 좌표계 구성부
145 : 객체 위치 저장부 150 : 사용자 위치 추적부
155 : 시선 확인부 160 : 시선방향 추적부
165 : 객체 확인부 170 : 디스플레이 좌표 산출부
175 : 사용자 확인부 180 : 증강현실 출력부100: augmented reality device 140: coordinate system component
145: object location storage unit 150: user location tracking unit
155: eye check unit 160: eye direction tracking unit
165: object confirmation unit 170: display coordinate calculation unit
175: user identification unit 180: augmented reality output unit
Claims (4)
상기 투명 디스플레이 면을 x-y축으로 하고, 상기 투명 디스플레이 면과 수직 방향을 z축으로 하는 3차원 좌표계를 구성하는 좌표계 구성부;
상기 3차원 좌표계 상의 원점을 기준으로 상기 투명 디스플레이가 설치된 공간 안에서 상기 투명 디스플레이 너머 공간 밖에 위치한 하나 이상의 객체에 대한 객체 위치 좌표 값을 저장하는 객체 위치 저장부;
상기 위치 추적 센서를 통해 상기 3차원 좌표계 상의 원점을 기준으로 공간 내 위치한 사용자의 위치를 추적하여 사용자 위치 좌표 값을 산출하는 사용자 위치 추적부;
상기 시선 추적 센서를 통해 상기 사용자의 시선이 투명 디스플레이를 향하는지 확인하는 시선 확인부;
상기 사용자의 시선이 상기 투명 디스플레이를 향하면, 상기 시선 추적 센서를 통해 상기 사용자의 시선방향을 추적하는 시선방향 추적부;
상기 시선방향의 연장선이 상기 객체 위치 좌표 값과 기 설정된 거리 이내에 위치하는 n(n>=1)개의 객체에 대한 객체 위치 좌표 값을 확인하는 객체 확인부;
상기 n개의 객체 위치 좌표 값과 사용자 위치 좌표 값을 연결한 직선이 상기 투명 디스플레이와 만나는 n개의 디스플레이 좌표 값을 산출하는 디스플레이 좌표 산출부; 및
상기 n개의 디스플레이 좌표 값에 n개의 객체와 연관된 가상현실 데이터를 출력하는 증강현실 출력부;를 구비하여 이루어지는 것을 특징으로 하는 위치와 시선방향을 추적하는 증강현실 장치.
An augmented reality device connected to a transparent display fixed to a space where a user is located, and having a position tracking sensor and a gaze tracking sensor for tracking a gaze direction to display virtual reality data associated with an object outside the space on the transparent display. In
A coordinate system configuration unit constituting a three-dimensional coordinate system having the xy-axis as the transparent display surface and a z-axis as the vertical direction with the transparent display surface;
An object position storage unit for storing object position coordinate values of at least one object located outside the space beyond the transparent display in a space where the transparent display is installed based on an origin on the 3D coordinate system;
A user location tracking unit for tracking a location of a user located in a space based on an origin on the 3D coordinate system through the location tracking sensor and calculating a user location coordinate value;
A gaze checker configured to check whether the gaze of the user faces the transparent display through the gaze tracking sensor;
A gaze tracking unit for tracking the gaze direction of the user through the gaze tracking sensor when the gaze of the user faces the transparent display;
An object identification unit confirming object position coordinate values of n (n> = 1) objects in which the extension line in the visual direction is located within a predetermined distance from the object position coordinate value;
A display coordinate calculator configured to calculate n display coordinate values where a straight line connecting the n object position coordinate values and the user position coordinate values meets the transparent display; And
And augmented reality output unit configured to output virtual reality data associated with the n objects to the n display coordinate values.
상기 투명 디스플레이 면에서 기 설정된 거리 이내에 위치하는 증강현실 표시 대상 사용자를 확인하는 사용자 확인부;를 구비하여 이루어지는 것을 특징으로 하는 위치와 시선방향을 추적하는 증강현실 장치.
The method of claim 1,
Augmented reality device for tracking the position and the gaze direction characterized in that it comprises a; user confirmation unit for confirming the augmented reality display target user located within a predetermined distance from the transparent display surface.
상기 n개의 디스플레이 좌표 값을 포함하여 상기 투명 디스플레이 상에 공간 밖의 객체에 대한 가상현실 데이터를 표시할 증강현실 표시 대상 좌표 영역을 산출하는 것을 특징으로 하는 위치와 시선방향을 추적하는 증강현실 장치.
The method of claim 1, wherein the display coordinate calculation unit,
And augmented reality display target coordinate area for displaying virtual reality data for an object out of space on the transparent display including the n display coordinate values.
상기 투명 디스플레이 상에 먼저 산출된 제2의 증강현실 표시 대상 좌표 영역과 중첩되지 않도록 산출되는 것을 특징으로 하는 위치와 시선방향을 추적하는 증강현실 장치.
The display apparatus of claim 3, wherein the augmented reality display target coordinate area is
Augmented reality device for tracking the position and the gaze direction, characterized in that it is calculated so as not to overlap with the second augmented reality display target coordinate area calculated on the transparent display first.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100055766A KR101691564B1 (en) | 2010-06-14 | 2010-06-14 | Method for Providing Augmented Reality by using Tracking Eyesight |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100055766A KR101691564B1 (en) | 2010-06-14 | 2010-06-14 | Method for Providing Augmented Reality by using Tracking Eyesight |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20110136012A true KR20110136012A (en) | 2011-12-21 |
| KR101691564B1 KR101691564B1 (en) | 2016-12-30 |
Family
ID=45502713
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020100055766A KR101691564B1 (en) | 2010-06-14 | 2010-06-14 | Method for Providing Augmented Reality by using Tracking Eyesight |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101691564B1 (en) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130128202A (en) * | 2012-05-16 | 2013-11-26 | 에스케이텔레콤 주식회사 | Apparatus and method for augmented reality based on mirror display |
| WO2014003509A1 (en) * | 2012-06-29 | 2014-01-03 | 인텔렉추얼디스커버리 주식회사 | Apparatus and method for displaying augmented reality |
| CN104272371A (en) * | 2012-04-08 | 2015-01-07 | 三星电子株式会社 | Transparent display apparatus and method thereof |
| WO2015072604A1 (en) * | 2013-11-15 | 2015-05-21 | 엘지전자(주) | Transparent display device and control method therefor |
| WO2015108232A1 (en) * | 2014-01-16 | 2015-07-23 | Lg Electronics Inc. | Portable device and method for controlling the same |
| CN104956428A (en) * | 2013-01-22 | 2015-09-30 | 三星电子株式会社 | Transparent display apparatus and method thereof |
| KR20170037692A (en) | 2015-09-23 | 2017-04-05 | 주식회사 비주얼캠프 | Apparatus and method for 3-dimensional display |
| US9639153B2 (en) | 2013-11-27 | 2017-05-02 | Electronics And Telecommunications Research Institute | Method of controlling electronic device using transparent display and apparatus using the same |
| KR20170125306A (en) * | 2017-10-30 | 2017-11-14 | 삼성전자주식회사 | Transparent display apparatus and method thereof |
| KR20180100292A (en) * | 2018-08-31 | 2018-09-10 | 삼성전자주식회사 | Transparent display apparatus and method thereof |
| WO2019199035A1 (en) * | 2018-04-11 | 2019-10-17 | 주식회사 비주얼캠프 | System and method for eye gaze tracking |
| WO2021177498A1 (en) * | 2020-03-05 | 2021-09-10 | 삼성전자주식회사 | Method for controlling display device including transparent screen, and display device therefor |
| US11436866B2 (en) | 2018-04-11 | 2022-09-06 | Visualcamp Co., Ltd. | System and method for eye-tracking |
| WO2023191556A1 (en) * | 2022-03-30 | 2023-10-05 | 유디포엠(주) | Augmented reality content output device |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022158746A1 (en) * | 2021-01-20 | 2022-07-28 | 서울대학교병원 | Medical treatment system using transparent display module |
| WO2024043424A1 (en) * | 2022-08-23 | 2024-02-29 | 김필재 | Content providing device using detected object |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6094625A (en) * | 1997-07-03 | 2000-07-25 | Trimble Navigation Limited | Augmented vision for survey work and machine control |
| JP2000276613A (en) * | 1999-03-29 | 2000-10-06 | Sony Corp | Device and method for processing information |
| US20060262140A1 (en) * | 2005-05-18 | 2006-11-23 | Kujawa Gregory A | Method and apparatus to facilitate visual augmentation of perceived reality |
-
2010
- 2010-06-14 KR KR1020100055766A patent/KR101691564B1/en active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6094625A (en) * | 1997-07-03 | 2000-07-25 | Trimble Navigation Limited | Augmented vision for survey work and machine control |
| JP2000276613A (en) * | 1999-03-29 | 2000-10-06 | Sony Corp | Device and method for processing information |
| US20060262140A1 (en) * | 2005-05-18 | 2006-11-23 | Kujawa Gregory A | Method and apparatus to facilitate visual augmentation of perceived reality |
Non-Patent Citations (1)
| Title |
|---|
| 가상 전술 지도 증강현실에 기반한 군사 훈련 브리핑 도구, 한국통신학회논문지 제31권제4C호(2006)* * |
Cited By (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2657929A3 (en) * | 2012-04-08 | 2017-01-18 | Samsung Electronics Co., Ltd | Transparent display apparatus and method thereof |
| CN104272371A (en) * | 2012-04-08 | 2015-01-07 | 三星电子株式会社 | Transparent display apparatus and method thereof |
| CN109471535B (en) * | 2012-04-08 | 2022-07-19 | 三星电子株式会社 | Transparent display device and method thereof |
| US10732729B2 (en) | 2012-04-08 | 2020-08-04 | Samsung Electronics Co., Ltd. | Transparent display apparatus and method thereof |
| CN109471535A (en) * | 2012-04-08 | 2019-03-15 | 三星电子株式会社 | Transparent display device and its method |
| US9958957B2 (en) | 2012-04-08 | 2018-05-01 | Samsung Electronics Co., Ltd. | Transparent display apparatus and method thereof |
| KR20130128202A (en) * | 2012-05-16 | 2013-11-26 | 에스케이텔레콤 주식회사 | Apparatus and method for augmented reality based on mirror display |
| WO2014003509A1 (en) * | 2012-06-29 | 2014-01-03 | 인텔렉추얼디스커버리 주식회사 | Apparatus and method for displaying augmented reality |
| KR101395388B1 (en) * | 2012-06-29 | 2014-05-14 | 인텔렉추얼디스커버리 주식회사 | Apparatus and method for providing augmented reality |
| CN104956428A (en) * | 2013-01-22 | 2015-09-30 | 三星电子株式会社 | Transparent display apparatus and method thereof |
| US10175749B2 (en) | 2013-01-22 | 2019-01-08 | Samsung Electronics Co., Ltd. | Transparent display apparatus and method thereof |
| US9857867B2 (en) | 2013-01-22 | 2018-01-02 | Samsung Electronics Co., Ltd. | Transparent display apparatus and method thereof |
| US10509460B2 (en) | 2013-01-22 | 2019-12-17 | Samsung Electronics Co., Ltd. | Transparent display apparatus and method thereof |
| CN108334866A (en) * | 2013-01-22 | 2018-07-27 | 三星电子株式会社 | Transparent display device and its method |
| WO2015072604A1 (en) * | 2013-11-15 | 2015-05-21 | 엘지전자(주) | Transparent display device and control method therefor |
| US9990034B2 (en) | 2013-11-15 | 2018-06-05 | Lg Electronics Inc. | Transparent display device and control method therefor |
| US9639153B2 (en) | 2013-11-27 | 2017-05-02 | Electronics And Telecommunications Research Institute | Method of controlling electronic device using transparent display and apparatus using the same |
| US9423872B2 (en) | 2014-01-16 | 2016-08-23 | Lg Electronics Inc. | Portable device for tracking user gaze to provide augmented reality display |
| KR20150085610A (en) * | 2014-01-16 | 2015-07-24 | 엘지전자 주식회사 | Portable and method for controlling the same |
| WO2015108232A1 (en) * | 2014-01-16 | 2015-07-23 | Lg Electronics Inc. | Portable device and method for controlling the same |
| KR20170037692A (en) | 2015-09-23 | 2017-04-05 | 주식회사 비주얼캠프 | Apparatus and method for 3-dimensional display |
| KR20170125306A (en) * | 2017-10-30 | 2017-11-14 | 삼성전자주식회사 | Transparent display apparatus and method thereof |
| WO2019199035A1 (en) * | 2018-04-11 | 2019-10-17 | 주식회사 비주얼캠프 | System and method for eye gaze tracking |
| US11436866B2 (en) | 2018-04-11 | 2022-09-06 | Visualcamp Co., Ltd. | System and method for eye-tracking |
| KR20180100292A (en) * | 2018-08-31 | 2018-09-10 | 삼성전자주식회사 | Transparent display apparatus and method thereof |
| WO2021177498A1 (en) * | 2020-03-05 | 2021-09-10 | 삼성전자주식회사 | Method for controlling display device including transparent screen, and display device therefor |
| US11921920B2 (en) | 2020-03-05 | 2024-03-05 | Samsung Electronics Co., Ltd. | Method for controlling display device including transparent screen, and display device therefor |
| WO2023191556A1 (en) * | 2022-03-30 | 2023-10-05 | 유디포엠(주) | Augmented reality content output device |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101691564B1 (en) | 2016-12-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101691564B1 (en) | Method for Providing Augmented Reality by using Tracking Eyesight | |
| CN106062862B (en) | System and method for immersive and interactive multimedia generation | |
| KR102417177B1 (en) | Head-mounted display for virtual and mixed reality with inside-out positional, user body and environment tracking | |
| KR102079097B1 (en) | Device and method for implementing augmented reality using transparent display | |
| US10192361B2 (en) | Head-mounted display device and computer program | |
| US9846968B2 (en) | Holographic bird's eye view camera | |
| US20220124295A1 (en) | Marker-based guided ar experience | |
| WO2015200406A1 (en) | Digital action in response to object interaction | |
| US10878285B2 (en) | Methods and systems for shape based training for an object detection algorithm | |
| US11869156B2 (en) | Augmented reality eyewear with speech bubbles and translation | |
| CN114761909A (en) | Content stabilization for head-mounted displays | |
| US11689877B2 (en) | Immersive augmented reality experiences using spatial audio | |
| US12010286B2 (en) | Separable distortion disparity determination | |
| US11195341B1 (en) | Augmented reality eyewear with 3D costumes | |
| US11915453B2 (en) | Collaborative augmented reality eyewear with ego motion alignment | |
| KR101682705B1 (en) | Method for Providing Augmented Reality by using RF Reader | |
| KR20110136038A (en) | System for tracking augmented reality device using several sensor | |
| US20210406542A1 (en) | Augmented reality eyewear with mood sharing | |
| CN113870213A (en) | Image display method, image display device, storage medium, and electronic apparatus | |
| KR20110136017A (en) | Augmented reality device to display hologram object | |
| US20230007227A1 (en) | Augmented reality eyewear with x-ray effect | |
| CN104239877B (en) | The method and image capture device of image procossing | |
| KR20190104491A (en) | Method for Providing Adaptive Augmented Reality | |
| KR20170142968A (en) | Method for Displaying Hologram Object by the Law of Gravity |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20191227 Year of fee payment: 4 |