KR101710198B1 - Method for Displaying Hologram Object - Google Patents

Abstract

본 발명은 홀로그램 객체 표시 방법에 관한 것으로, 홀로그램 표시 장치 및 화면 출력 장치와 연결된 증강현실장치에서 실행되는 방법에 있어서, 홀로그램 객체를 표시하는 현실세계 3차원 좌표 공간, 상기 화면 출력 장치의 디스플레이 면을 표시하는 디스플레이 2차원 좌표 공간 및 상기 화면 출력 장치 안쪽의 가상세계 3차원 좌표 공간을 하나의 좌표계 상의 좌표 값으로 표시하는 통합 좌표계를 구성하거나, 또는 상기 디스플레이 2차원 좌표계를 기준으로 상기 현실세계 3차원 좌표계와 상기 가상세계 3차원 좌표계 사이의 좌표 전환식을 구성하고, 상기 디스플레이 2차원 좌표계 상에 표시되는 객체 중 상기 가상세계 3차원 좌표계 측에서 상기 현실세계 3차원 좌표계 방향으로 이동하는 화면 객체의 이동 방향과 이동 패턴을 확인하고, 상기 가상세계 3차원 좌표계 측에서 상기 현실세계 3차원 좌표계 방향으로 이동하는 화면 객체가 상기 디스플레이 2차원 좌표계에 접하는 경우 상기 홀로그램 표시 장치를 통해 상기 화면 객체의 이동 방향과 이동 패턴을 연장하여 이동하는 홀로그램 객체를 상기 현실세계 3차원 좌표계 상에 표시하도록 제어하며, 상기 이동 패턴은, 상기 이동 방향에 중력 방향의 중력 법칙을 결합한 패턴을 포함하여 이루어진다.The present invention relates to a method of displaying a hologram object, the method being implemented in an augmented reality device connected to a hologram display device and a screen output device, the method comprising: displaying a hologram object in a real world three-dimensional coordinate space, Dimensional coordinate space and a virtual world three-dimensional coordinate space inside the screen output device are displayed as coordinate values on one coordinate system, or the integrated two-dimensional coordinate space, Dimensional virtual coordinate system and the virtual three-dimensional coordinate system of the virtual three-dimensional coordinate system of the virtual three-dimensional coordinate system, Direction and movement pattern, and the virtual world When a screen object moving in the direction of the three-dimensional coordinate system from the three-dimensional coordinate system is in contact with the display two-dimensional coordinate system, a moving direction and a moving pattern of the screen object are extended through the hologram display device, Dimensional coordinate system of the real world, and the movement pattern includes a pattern in which the gravitational force in the direction of gravity is combined with the movement direction.

Description

홀로그램 객체 표시 방법{Method for Displaying Hologram Object}{Method for Displaying Hologram Object}

본 발명은 홀로그램 표시 장치 및 화면 출력 장치와 연결된 증강현실장치에서 실행되는 방법에 있어서, 홀로그램 객체를 표시하는 현실세계 3차원 좌표 공간, 상기 화면 출력 장치의 디스플레이 면을 표시하는 디스플레이 2차원 좌표 공간 및 상기 화면 출력 장치 안쪽의 가상세계 3차원 좌표 공간을 하나의 좌표계 상의 좌표 값으로 표시하는 통합 좌표계를 구성하거나, 또는 상기 디스플레이 2차원 좌표계를 기준으로 상기 현실세계 3차원 좌표계와 상기 가상세계 3차원 좌표계 사이의 좌표 전환식을 구성하고, 상기 디스플레이 2차원 좌표계 상에 표시되는 객체 중 상기 가상세계 3차원 좌표계 측에서 상기 현실세계 3차원 좌표계 방향으로 이동하는 화면 객체의 이동 방향과 이동 패턴을 확인하고, 상기 가상세계 3차원 좌표계 측에서 상기 현실세계 3차원 좌표계 방향으로 이동하는 화면 객체가 상기 디스플레이 2차원 좌표계에 접하는 경우 상기 홀로그램 표시 장치를 통해 상기 화면 객체의 이동 방향과 이동 패턴을 연장하여 이동하는 홀로그램 객체를 상기 현실세계 3차원 좌표계 상에 표시하도록 제어하며, 상기 이동 패턴은, 상기 이동 방향에 중력 방향의 중력 법칙을 결합한 패턴을 포함하여 이루어지는 홀로그램 객체 표시 방법에 관한 것이다.The present invention provides a method for executing an augmented reality device connected to a hologram display device and a screen output device, the method comprising: displaying a three-dimensional real world coordinate space displaying a hologram object, a display two-dimensional coordinate space displaying a display surface of the screen output device, A virtual world three-dimensional coordinate space inside the screen output device is displayed as a coordinate value on one coordinate system, or a virtual world three-dimensional coordinate space is displayed on the basis of the display two-dimensional coordinate system, And determines a movement direction and a movement pattern of the screen object moving in the direction of the real world three-dimensional coordinate system from the virtual three-dimensional coordinate system side among the objects displayed on the display two-dimensional coordinate system, Dimensional virtual world coordinate system, When a screen object moving in the direction of the coordinate system touches the display two-dimensional coordinate system, a moving direction and a moving pattern of the screen object are extended through the hologram display device to display a moving hologram object on the three- And the movement pattern includes a pattern in which a gravitational force in the gravitational direction is combined with the movement direction.

디스플레이 장치를 통해 표시되는 현실은 카메라를 통해 실제 세계를 촬영한 실제현실(Full Reality)과 실제 세계에는 존재하지 않으나 컴퓨터를 통해 만들어진 가상 세계를 표현하는 가상현실(Virtual Reality)로 나뉘며, SF(Science Fiction) 영화와 같이 미리 정해진 장면 시나리오에 따라 블루스크린 앞에서 실제현실을 촬영하고 여기에 가상현실을 조합한 크로마키현실(Chroma-Key Reality)이 존재하며, 크로마키현실은 분류 상 가상현실에 속한다.
The reality displayed through the display device is divided into a real reality (real reality) shot through a camera and a virtual reality (virtual reality) that does not exist in the real world but represents a virtual world created through a computer. Fiction) There is Chroma-Key Reality, which is a combination of virtual reality and actual reality shot in front of blue screen according to predetermined scenarios such as movie. Chroma-key reality belongs to virtual reality in classification.

최근 정보 통신 지속적인 기술의 발전으로 실제현실 상의 객체에 실시간으로 가상현실 데이터를 표시하는 증강현실(Augmented Reality)이 제안되었다. 증강현실은 SF영화와 같이 미리 정해진 장면 시나리오가 없다는 점, 실제현실을 블루스크린 앞에서 촬영하지 않는 점에서 크로마키현실과 구분된다.
Recently, the Augmented Reality which displays real-time virtual reality data on real-world objects by the progress of continuous information technology has been proposed. The augmented reality is distinguished from the reality of chroma key in that there is no predefined scene scenario like SF movie and reality reality is not shot in front of blue screen.

상기 증강현실에서 실제현실 상에 가상현실 데이터를 표시할 객체를 결정하는 방법으로는, 실제현실에 마커(Marker)를 표시한 후 상기 마커를 인식하여 상기 마커 상에 가상현실 데이터를 표시하는 마커 방식 증강현실과, 실제현실에 마커를 표시하지 않고 실제현실 상의 객체를 직접 인식하여 가상현실 데이터를 표시하는 마커리스(Markerless) 증강현실이 존재한다. 현재 마커 방식 증강현실은 각각의 마커를 이용하여 몇 가지 시범 서비스가 제공되고 있으나 마커 구성에 대한 표준화가 전혀 존재하지 않으며, 마커리스 증강현실은 스튜디오에서 미리 정해진 객체를 촬영한 실제현실을 이용하는 경우를 제외하고는 객체 인식의 불안정성으로 인해 시범되지 못하고 있다.
As a method of determining an object to display virtual reality data on an actual reality in the augmented reality, there is a method of displaying a marker on an actual reality, then recognizing the marker and displaying a virtual reality data on the marker There are augmented reality and a markerless augmented reality in which virtual reality data is displayed by directly recognizing an actual real object without displaying a marker in actual reality. Currently, a number of trial services are provided using each marker, but there is no standardization of the marker configuration at all. Markerless augmented reality is a case in which realistic reality in which a predetermined object is photographed in a studio is used But it is not demonstrated due to the instability of object recognition.

또한, 상기 증강현실에서 실제현실에 가상현실 데이터를 표시하는 방법으로는, 카메라를 통해 촬영되어 저장매체에 저장된 실제현실로부터 마커/마커리스 방식으로 객체를 인식하고 상기 인식된 객체 상에 가상현실 데이터를 표시하는 방법과, 카메라를 통해 실시간 촬영되는 실제현실로부터 마커/마커리스 방식으로 객체를 인식하고 상기 인식된 객체 상에 가상현실 데이터를 표시하는 방법이 존재하며, 상술된 방법 이외에 카메라를 통해 실제현실을 촬영하지 않고 인간의 눈이 그 너머의 실제현실을 바라보는 투명한 물건(예컨대, 안경, 고글, 유리창 등)을 투명 디스플레이로 이용하고 센서 기술을 통해 상기 인간의 눈이 투명 디스플레이 너머의 객체를 인식하여 상기 투명 디스플레이 상에 가상현실 데이터를 표시하는 방법이 이론적으로 존재한다.
In addition, as a method of displaying virtual reality data in an actual reality in the augmented reality, there is a method of recognizing an object in a marker / markerless manner from an actual reality photographed through a camera and stored in a storage medium, There is a method of displaying an object in a marker / markerless manner from an actual reality photographed in real time through a camera and displaying virtual reality data on the recognized object. In addition to the above-mentioned method, Using transparent objects (such as glasses, goggles, glass windows, etc.) that look at the actual reality beyond the eyes of the human being as a transparent display without photographing the reality, and the sensor technology allows the human eye to see an object There is theoretically a method for recognizing and displaying the virtual reality data on the transparent display .

한편, 상기와 같은 증강현실은 현실세계의 공간에 홀로그램을 표시하는 것도 포함할 수 있다. 상기 증강현실이 홀로그램을 포함하는 경우, 상기 홀로그램은 현실세계의 환경을 고려하여 표시되어야 한다. 그러나 불확정 요소가 많은 현실세계의 환경을 홀로그램에 적용하는 것은 매우 난해하다.
The augmented reality may include displaying a hologram in a real world space. When the augmented reality includes a hologram, the hologram should be displayed in consideration of the environment of the real world. However, it is very difficult to apply the environment of the real world with many indeterminate factors to the hologram.

상기와 같은 문제점을 해소하기 위한 본 발명의 목적은, 홀로그램 표시 장치 및 화면 출력 장치와 연결된 증강현실장치에서 실행되는 방법에 있어서, 홀로그램 객체를 표시하는 현실세계 3차원 좌표 공간, 상기 화면 출력 장치의 디스플레이 면을 표시하는 디스플레이 2차원 좌표 공간 및 상기 화면 출력 장치 안쪽의 가상세계 3차원 좌표 공간을 하나의 좌표계 상의 좌표 값으로 표시하는 통합 좌표계를 구성하거나, 또는 상기 디스플레이 2차원 좌표계를 기준으로 상기 현실세계 3차원 좌표계와 상기 가상세계 3차원 좌표계 사이의 좌표 전환식을 구성하는 제1 단계와 상기 디스플레이 2차원 좌표계 상에 표시되는 객체 중 상기 가상세계 3차원 좌표계 측에서 상기 현실세계 3차원 좌표계 방향으로 이동하는 화면 객체의 이동 방향과 이동 패턴을 확인하는 제2 단계 및 상기 가상세계 3차원 좌표계 측에서 상기 현실세계 3차원 좌표계 방향으로 이동하는 화면 객체가 상기 디스플레이 2차원 좌표계에 접하는 경우 상기 홀로그램 표시 장치를 통해 상기 화면 객체의 이동 방향과 이동 패턴을 연장하여 이동하는 홀로그램 객체를 상기 현실세계 3차원 좌표계 상에 표시하도록 제어하는 제3 단계를 포함하며, 상기 이동 패턴은, 상기 이동 방향에 중력 방향의 중력 법칙을 결합한 패턴을 포함하여 이루어지는 홀로그램 객체 표시 방법을 제공함에 있다.According to an aspect of the present invention, there is provided a method of executing an augmented reality device connected to a hologram display device and a screen output device, the method comprising: displaying a hologram object in a real world three-dimensional coordinate space, An integrated coordinate system for displaying a display two-dimensional coordinate space for displaying a display surface and a virtual world three-dimensional coordinate space inside the screen output apparatus as coordinate values on one coordinate system, A first step of constructing a coordinate conversion equation between the world three-dimensional coordinate system and the virtual world three-dimensional coordinate system, and a step of converting the three-dimensional virtual three-dimensional coordinate system into the three- Check movement direction and movement pattern of moving screen object When the screen object moving in the second three-dimensional coordinate system direction and in the direction of the real world three-dimensional coordinate system is in contact with the display two-dimensional coordinate system, the movement direction and the movement pattern of the screen object are extended through the hologram display device And a third step of controlling the moving holographic object so as to be displayed on the real world three-dimensional coordinate system, wherein the moving pattern includes a pattern in which the gravitational law in the direction of gravity is combined with the moving direction, .

본 발명에 따른 홀로그램 객체 표시 방법은, 홀로그램 표시 장치 및 화면 출력 장치와 연결된 증강현실장치에서 실행되는 방법에 있어서, 홀로그램 객체를 표시하는 현실세계 3차원 좌표 공간, 상기 화면 출력 장치의 디스플레이 면을 표시하는 디스플레이 2차원 좌표 공간 및 상기 화면 출력 장치 안쪽의 가상세계 3차원 좌표 공간을 하나의 좌표계 상의 좌표 값으로 표시하는 통합 좌표계를 구성하거나, 또는 상기 디스플레이 2차원 좌표계를 기준으로 상기 현실세계 3차원 좌표계와 상기 가상세계 3차원 좌표계 사이의 좌표 전환식을 구성하는 제1 단계와 상기 디스플레이 2차원 좌표계 상에 표시되는 객체 중 상기 가상세계 3차원 좌표계 측에서 상기 현실세계 3차원 좌표계 방향으로 이동하는 화면 객체의 이동 방향과 이동 패턴을 확인하는 제2 단계 및 상기 가상세계 3차원 좌표계 측에서 상기 현실세계 3차원 좌표계 방향으로 이동하는 화면 객체가 상기 디스플레이 2차원 좌표계에 접하는 경우 상기 홀로그램 표시 장치를 통해 상기 화면 객체의 이동 방향과 이동 패턴을 연장하여 이동하는 홀로그램 객체를 상기 현실세계 3차원 좌표계 상에 표시하도록 제어하는 제3 단계를 포함하며, 상기 이동 패턴은, 상기 이동 방향에 중력 방향의 중력 법칙을 결합한 패턴을 포함하여 이루어지는 것을 특징으로 한다.
본 발명에 따른 홀로그램 객체 표시 방법에 있어서, 상기 현실세계 3차원 좌표계 상에서 상기 가상세계 3차원 좌표계 방향으로 이동하는 홀로그램 객체의 이동 방향과 이동 패턴을 확인하는 제4 단계 및 상기 현실세계 3차원 좌표계 상에서 이동하는 홀로그램 객체가 상기 디스플레이 2차원 좌표계에 접하는 경우 상기 홀로그램 객체의 이동 방향과 이동 패턴을 연장하여 상기 가상세계 3차원 좌표계 상에서 이동하는 화면 객체를 상기 화면 출력 장치의 디스플레이 2차원 좌표계 상에 출력하도록 제어하는 제5 단계를 더 포함하여 이루어지는 것을 특징으로 한다.
본 발명에 따른 홀로그램 객체 표시 방법에 있어서, 상기 제3 단계는, 상기 화면 출력 장치의 디스플레이 2차원 좌표계 상에 출력되던 화면 객체의 출력을 중지하는 단계를 더 포함하여 이루어지는 것을 특징으로 한다.
본 발명에 따른 홀로그램 객체를 표시하는 증강현실 장치는, 홀로그램 표시 장치 및 화면 출력 장치와 연결되며, 현실세계 공간을 이동하는 이동 객체의 위치와 이동 방향을 센싱하는 이동 객체 추적 센서를 구비한 증강현실 장치에 있어서, 상기 홀로그램 표시 장치를 통해 홀로그램 객체가 표시되는 현실세계 3차원 좌표 공간과 상기 화면 출력 장치의 디스플레이 면을 표시하는 디스플레이 2차원 좌표 공간 및 상기 화면 출력 장치 안쪽의 가상세계 3차원 좌표 공간을 하나의 좌표계 상의 좌표 값으로 표시하는 통합 좌표계를 구성하거나, 또는 상기 화면 출력 장치의 디스플레이 면을 표시하는 디스플레이 2차원 좌표계를 기준으로 상기 홀로그램 표시 장치를 통해 홀로그램 객체가 표시되는 현실세계 3차원 좌표계와 상기 화면 출력 장치 안쪽의 가상세계 3차원 좌표계 사이의 좌표 전환식을 구성하는 좌표계 구성부와, 상기 화면 출력 장치를 통해 표시되는 화면 객체의 위치와 제1 이동 방향 및 제1 이동 패턴을 추적하는 화면 객체 추적부와, 상기 화면 객체의 제1 이동 방향이 상기 화면 출력 장치 안쪽에서 상기 화면 출력 장치의 디스플레이 면으로 향하는지 확인하는 이동 방향 확인부와, 상기 화면 객체 제1 이동 방향이 상기 화면 출력 장치의 디스플레이 면으로 향하면, 상기 화면 객체의 위치가 상기 화면 출력 장치의 디스플레이 면과 접하는 좌표 값(1)을 확인하는 좌표 확인부(1)와, 상기 화면 객체 위치가 상기 디스플레이 면과 접하면, 상기 홀로그램 표시 장치를 통해 상기 화면 객체를 홀로그램 객체로 전환하여 상기 좌표 값(1)의 위치에 표시하고 상기 홀로그램 객체의 이동 방향과 이동 패턴을 상기 화면 객체에 대한 제1 이동 방향과 제1 이동 패턴으로 유지시키는 홀로그램 객체 표시부를 구비한다.A method of displaying a hologram object according to the present invention is a method executed in an augmented reality device connected to a hologram display device and a screen output device, the method comprising: displaying a display surface of the screen output device Dimensional coordinate space and a virtual world three-dimensional coordinate space inside the screen output device are displayed as coordinate values on one coordinate system. Alternatively, an integrated coordinate system may be constructed in which the display two-dimensional coordinate space and the virtual world three- Dimensional coordinate system of the virtual three-dimensional coordinate system and a virtual three-dimensional coordinate system of the virtual three-dimensional coordinate system of the object displayed on the display two-dimensional coordinate system, A second step of confirming a moving direction and a movement pattern of When the screen object moving in the direction of the 3D virtual world coordinate system is in contact with the display two-dimensional coordinate system, the movement direction of the screen object and the movement pattern of the screen object are extended through the hologram display device, And a third step of controlling the object to be displayed on the three-dimensional coordinate system of the real world, wherein the movement pattern includes a pattern in which the gravity direction of the gravity direction is combined with the movement direction.
In the method of displaying a hologram object according to the present invention, a fourth step of confirming a moving direction and a moving pattern of a hologram object moving in the direction of the virtual world three-dimensional coordinate system on the real world three-dimensional coordinate system, When the moving hologram object is in contact with the display two-dimensional coordinate system, the movement direction and movement pattern of the hologram object are extended to output a screen object moving on the virtual world three-dimensional coordinate system on the display two-dimensional coordinate system of the screen output device And a fifth step of controlling the second step.
In the hologram object displaying method according to the present invention, the third step may further include stopping the output of the screen object output on the display two-dimensional coordinate system of the screen output device.
An augmented reality device for displaying a hologram object according to the present invention includes a hologram display device and an augmented reality device having a moving object tracking sensor connected to a screen output device and sensing a position and a moving direction of a moving object moving in a real world space, The display device according to claim 1, further comprising: a hologram display unit for displaying a hologram object, a display two-dimensional coordinate space for displaying a display surface of the screen output device, and a virtual three-dimensional coordinate space Dimensional coordinate system in which a hologram object is displayed on the basis of a display two-dimensional coordinate system for displaying a display surface of the screen output device, or a real world three-dimensional coordinate system And virtual three in the screen output device A screen object tracking unit for tracking a position of a screen object displayed through the screen output device and a first movement direction and a first movement pattern; A moving direction confirmation unit for confirming whether a first moving direction of the object is directed from the inside of the screen output device to a display surface of the screen output device, A coordinate confirming unit (1) for confirming a coordinate value (1) at which a position of a screen object is in contact with a display surface of the screen output device; The object is converted into a hologram object and displayed at the position of the coordinate value (1), and the movement direction and movement pattern of the hologram object And a hologram object display unit for holding the first moving direction and the first moving pattern for the screen object.

본 발명에 따른 홀로그램 객체를 표시하는 증강현실 장치는, 상기 이동 객체 추적 센서를 통해 이동 객체의 위치를 추적하고, 상기 이동 객체 위치 좌표 값과 홀로그램 위치 좌표 값을 비교하여 홀로그램 객체와 이동 객체가 접촉하는지 확인하는 객체 접촉 확인부와, 상기 홀로그램 객체와 이동 객체가 접하면, 상기 홀로그램 객체의 제1 이동 방향에 상기 이동 객체의 이동 방향을 반영하여 상기 홀로그램 객체의 제2 이동 방향과 제2 이동 패턴을 결정하는 홀로그램 객체 이동 결정부와, 상기 제2 이동 방향으로 이동하는 홀로그램 객체가 상기 화면 출력 장치의 디스플레이 면과 접하는 좌표 값(2)을 확인하는 좌표 확인부(2)와, 상기 홀로그램 객체 위치가 상기 디스플레이 면과 접하면, 상기 화면 출력 장치를 통해 상기 홀로그램 객체를 화면 객체로 전환하여 상기 좌표 값(2)의 위치에 표시하고 상기 홀로그램 객체의 제2 이동 방향과 제2 이동 패턴을 상기 화면 객체에 대한 이동 방향과 이동 패턴으로 유지시키는 화면 객체 표시부를 구비한다.
The augmented reality apparatus for displaying a hologram object according to the present invention is a device for tracking a position of a moving object through the moving object tracking sensor and comparing the moving object position coordinate value with a hologram position coordinate value, A second movement direction of the hologram object and a second movement direction of the hologram object are determined by reflecting a moving direction of the moving object in a first movement direction of the hologram object when the hologram object and the moving object are in contact with each other, (2) for determining a coordinate value (2) at which a hologram object moving in the second moving direction makes contact with a display surface of the screen output device, a hologram object movement determining unit The hologram object is converted into a screen object through the screen output device And a screen object display unit for displaying the second movement direction and the second movement pattern of the hologram object at a position of the coordinate value (2) in a moving direction and a movement pattern for the screen object.

본 발명에 따른 홀로그램 객체를 표시하는 증강현실 장치에 있어서, 상기 홀로그램 객체 이동 결정부는, 상기 제2 이동 방향을 상기 화면 출력 장치의 디스플레이 면 방향으로 유지시킬 수 있다.
In the augmented reality apparatus for displaying a hologram object according to the present invention, the hologram object movement determination unit may maintain the second movement direction in a display surface direction of the screen output device.

본 발명에 따른 홀로그램 객체를 표시하는 증강현실 장치에 있어서, 상기 이동 패턴은, 상기 화면 객체 또는 홀로그램 객체의 이동 방향에 중력 방향을 결합하는 것이다.
In the augmented reality apparatus for displaying a hologram object according to the present invention, the movement pattern is a combination of a direction of gravity in a moving direction of the screen object or a hologram object.

본 발명에 따르면, 화면 출력 장치를 통해 화면 객체가 출력되는 가상세계와 홀로그램 표시 장치를 통해 홀로그램 객체가 표시되는 현실세계를 하나의 공간으로 간주하여 상기 가상세계의 캐릭터와 현실세계의 사용자가 상호 작용하는 스포츠 게임, 시뮬레이션 게임을 제공하는 이점이 있다.
According to the present invention, a virtual world in which a screen object is output through a screen output device and a real world in which a hologram object is displayed through a hologram display device are regarded as one space, so that a character of the virtual world and a user in a real world interact Sports games, and simulation games.

도 1은 본 발명의 실시 방법에 따른 증강현실 장치 구성을 도시한 도면이다.
도 2는 본 발명의 실시 방법에 따라 가상세계의 화면 객체와 현실세계의 홀로그램 객체를 전환하는 구성을 도시한 도면이다.
도 3은 본 발명의 실시 방법에 따라 화면 객체를 홀로그램 객체로 전환하여 표시하는 과정을 도시한 도면이다.
도 4는 본 발명의 실시 방법에 따라 홀로그램 객체를 화면 객체로 전환하여 표시하는 과정을 도시한 도면이다.
도 5a와 도 5b 및 도 5c는 본 발명의 실시 방법에 따라 화면 객체와 홀로그램 객체를 전환하여 증강현실을 표시하는 예시도 이다.1 is a diagram illustrating a configuration of an augmented reality apparatus according to an embodiment of the present invention.
2 is a diagram illustrating a configuration for switching a screen object of a virtual world and a hologram object of a real world according to an embodiment of the present invention.
3 is a view illustrating a process of converting a screen object into a hologram object according to an embodiment of the present invention.
4 is a diagram illustrating a process of converting a hologram object into a screen object and displaying the hologram object according to an embodiment of the present invention.
FIGS. 5A, 5B and 5C are views illustrating an augmented reality by switching a screen object and a hologram object according to an embodiment of the present invention.

이하 첨부된 도면과 설명을 참조하여 본 발명의 바람직한 실시예에 대한 동작 원리를 상세히 설명한다. 다만, 하기에 도시되는 도면과 후술되는 설명은 본 발명의 특징을 효과적으로 설명하기 위한 여러 가지 방법 중에서 바람직한 실시 방법에 대한 것이며, 본 발명이 하기의 도면과 설명만으로 한정되는 것은 아니다. 또한, 하기에서 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서, 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 발명에서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
The operation principle of the preferred embodiment of the present invention will be described in detail with reference to the accompanying drawings and description. It should be understood, however, that the drawings and the following detailed description are exemplary and explanatory and are intended to provide further explanation of the invention, and are not to be construed as limiting the present invention. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. The terms used below are defined in consideration of the functions of the present invention, which may vary depending on the user, intention or custom of the operator. Therefore, the definition should be based on the contents throughout the present invention.

아울러 하기에 도시되는 실시예에서 본 발명의 기술적 특징을 보다 명확하게 설명하기 위해 각 용어의 서두에 "제1" 또는 "제2"와 같은 형태의 식별부호를 첨부하여 설명할 것이나, 상기 식별부호는 각 용어를 식별하기 위한 것일 뿐 상기 식별부호에 의해 각 용어가 다른 기능과 역할을 수행하는 것으로 구별 또는 한정되는 것은 결코 아님을 명백하게 밝혀두는 바이다.
Furthermore, in order to more clearly describe the technical features of the present invention in the embodiments shown below, an explanation will be given with an identification code of a form such as "first" or "second & Is intended to identify each term only and should not be construed as a distinction or limitation as to each of the terms serving as a different function and role by the identification code.

결과적으로, 본 발명의 기술적 사상은 청구범위에 의해 결정되며, 이하 실시예는 진보적인 본 발명의 기술적 사상을 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 효율적으로 설명하기 위한 일 수단일 뿐이다.
As a result, the technical idea of the present invention is determined by the claims, and the following embodiments are merely means for effectively explaining the technical idea of the present invention to a person having ordinary skill in the art to which the present invention belongs Only.

도면1은 본 발명의 실시 방법에 따른 증강현실 장치(100) 구성을 도시한 도면이다.
1 is a diagram illustrating a configuration of an augmented reality device 100 according to an embodiment of the present invention.

보다 상세하게 본 도면1은 홀로그램 표시 장치(155) 및 화면 출력 장치(150)와 연결된 증강현실 장치(100)에서 상기 화면 출력 장치(150)를 통해 표시되는 화면 객체의 이동 방향이 상기 화면 출력 장치(150) 안쪽에서 상기 화면 출력 장치(150)의 디스플레이 면으로 향하는 경우 상기 화면 객체를 홀로그램 객체로 전환하여 상기 홀로그램 표시 장치(155)를 통해 현실세계 공간에 출력하고, 상기 홀로그램 표시 장치(155)를 통해 표시되는 홀로그램 객체의 이동 방향이 상기 화면 출력 장치(150)의 디스플레이 면으로 향하는 경우 상기 홀로그램 객체를 상기 화면 객체로 전환하여 상기 화면 출력 장치(150)를 통해 화면 출력하는 구성을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면1을 참조 및/또는 변형하여 상기 증강현실 장치(100) 구성에 대한 다양한 실시 방법(예컨대, 일부 구성부가 생략되거나, 또는 세분화되거나, 또는 합쳐진 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면1에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.
1 shows a moving direction of a screen object displayed on the screen output device 150 in the augmented reality device 100 connected to the hologram display device 155 and the screen output device 150, The hologram display device 155 converts the screen object into a hologram object and outputs the converted hologram object to the real world space through the hologram display device 155, When the direction of movement of the hologram object displayed on the screen output device 150 is directed to the display surface of the screen output device 150, the hologram object is converted into the screen object and displayed on the screen output device 150 , And the person skilled in the art will be able to refer to and / or modify the drawing 1 to determine whether the augmented reality device 10 0.0 > 0) < / RTI > configuration (e. G., Some configuration portions may be omitted, or subdivided, or combined), but the present invention encompasses all such contemplated embodiments, The technical features thereof are not limited only by the method shown in FIG.

본 발명의 증강현실 장치(100)는 화면 출력 장치(150)를 통해 표시되는 화면 객체의 이동 방향과 이동 패턴을 판독하는 기능, 상기 화면 객체에 대응하는 홀로그램 데이터를 획득하는 기능, 상기 홀로그램 표시 장치(155)를 통해 상기 홀로그램 데이터를 표시하여 출력하는 기능, 상기 홀로그램 객체의 이동 방향과 이동 패턴을 추적하는 기능, 상기 홀로그램 객체의 이동 방향과 이동 패턴을 상기 화면 출력 장치(150)로 연장하여 출력시키는 기능을 구비한 장치의 총칭으로서, 상기 출력 장치를 통해 표시되는 화면 객체의 이동 방향과 이동 패턴을 판독하는 방식, 상기 화면 객체에 대응하는 홀로그램 데이터를 획득하는 방식, 상기 홀로그램 표시 장치(155)를 통해 상기 홀로그램 데이터를 표시하여 출력하는 방식, 상기 홀로그램 객체의 이동 방향과 이동 패턴을 추적하는 방식 및 상기 홀로그램 객체의 이동 방향과 이동 패턴을 상기 화면 출력 장치(150)로 연장하여 출력시키는 방식에 의해 한정되지 아니한다.
The augmented reality device 100 of the present invention has a function of reading a movement direction and a movement pattern of a screen object displayed through the screen output device 150, a function of acquiring hologram data corresponding to the screen object, A function to track the movement direction and movement pattern of the hologram object, a function to extend the movement direction and the movement pattern of the hologram object to the screen output device 150 and to output the hologram object A method of reading a movement direction and a movement pattern of a screen object displayed through the output device, a method of acquiring hologram data corresponding to the screen object, a method of acquiring hologram data corresponding to the screen object, A method of displaying the hologram data through the hologram object and outputting the hologram data, And a method of extending the moving direction and the moving pattern of the hologram object to the screen output device 150 and outputting the moving direction and movement pattern.

또한, 상기 증강현실 장치(100)는 장치를 구성하는 구조에 의해 한정되지 아니한다. 예를들어, 상기 증강현실 장치(100)는 하나의 케이스 내에 각 구성부가 통합 구비된 독립 장치 형태, 연결된 두개 이상의 장치에 각 구성부가 분리되어 구비된 연동 장치 형태, 특정 물건/건물/공간에 설치된 형태 등으로 구현될 수 있다.
In addition, the augmented reality device 100 is not limited by the structure constituting the apparatus. For example, the augmented reality device 100 may be configured as an independent device in which each component is integrated in one case, an interlock device in which each component is separately provided in two or more connected devices, And the like.

도면1을 참조하면, 상기 증강현실 장치(100)는, 제어부(105), 메모리부(120), 출력부(125), 인터페이스부(135) 및 센서부(130)를 구비하며, 상기 홀로그램 데이터를 획득하는 방식에 따라 통신부(115)를 더 구비하고, 사용자 조작을 위한 조작부(110)를 더 구비할 수 있다.
1, the augmented reality device 100 includes a control unit 105, a memory unit 120, an output unit 125, an interface unit 135, and a sensor unit 130, The communication unit 115 may further include an operation unit 110 for user operation.

상기 제어부(105)는 물리적으로 프로세서와 실행 메모리와 버스를 포함하며, 기능적으로 상기 증강현실 장치(100)에 구비된 프로그램이 상기 실행 메모리로 로드되어 상기 프로세서에 의해 연산되도록 처리하는 기록매체 기능을 수행한다. 이에 본 도면1은 상기 증강현실 장치(100)에 구비되는 프로그램 구성부를 편의상 상기 제어부(105) 내에 도시하여 설명하기로 한다.
The control unit 105 physically includes a processor, an execution memory, and a bus, and functions as a recording medium that processes a program included in the augmented reality device 100 so as to be functionally loaded into the execution memory and operated by the processor . FIG. 1 is a block diagram illustrating the configuration of a program unit included in the augmented reality system 100 according to an embodiment of the present invention.

상기 메모리부(120)는 비휘발성 메모리를 포함하며, 기능적으로 상기 제어부(105)로 로딩될 프로그램 코드와 상기 프로그램 코드가 사용하는 데이터 셋트를 저장/유지하는 저장매체 기능을 수행한다. 여기서, 상기 프로그램 코드는 상기 증강현실 장치(100)의 기본 동작을 운영/제어하는 시스템 프로그램 코드와, 상기 증강현실 장치(100)에 구비되는 각종 애플리케이션 서비스를 제공하는 응용 프로그램 코드를 포함한다.
The memory unit 120 includes a nonvolatile memory and functions as a storage medium for storing / retaining program codes to be loaded into the controller 105 functionally and a data set used by the program codes. The program code includes system program code for operating / controlling the basic operation of the augmented reality device 100 and application program code for providing various application services included in the augmented reality device 100. [

본 발명의 실시 방법에 따르면, 상기 메모리부(120)는 상기 홀로그램 데이터를 저장할 수 있으며, 이 경우 상기 메모리부(120)는 상기 홀로그램 데이터를 획득하는 홀로그램 획득수단의 기능을 수행할 수 있다.
According to the embodiment of the present invention, the memory unit 120 may store the hologram data. In this case, the memory unit 120 may perform the function of hologram acquiring means for acquiring the hologram data.

본 발명의 실시 방법에 따르면, 상기 메모리부(120)는 상기 홀로그램 데이터의 물질 상태 값을 상기 홀로그램 데이터와 연결하여 저장할 수 있다.
According to the embodiment of the present invention, the memory unit 120 may store the material state value of the hologram data in connection with the hologram data.

여기서, 상기 물질 상태 값은, 상기 홀로그램 데이터가 형상화하는 물질의 질량, 재질, 상태 변화 충격량 및 상기 상태 변화 충격량에 따라 상기 홀로그램 데이터의 상태를 변화시키는 상태변화 조건을 포함할 수 있다.
Here, the material state value may include a state change condition that changes the state of the hologram data according to a mass, a material, a state change impact amount, and the state change impact amount of the material that the hologram data forms.

만약 상기 물질 상태 값에 하나 이상의 상태 변화 충격량과 상태변화 조건이 포함된 경우, 상기 홀로그램 데이터는 상태 변화 전의 원본 홀로그램 데이터와, 각 상태 변화 충격량과 상태변화 조건에 대응하는 상태 변화 후 홀로그램 데이터를 포함할 수 있다.
If the material state value includes at least one state change amount and a state change condition, the hologram data includes original hologram data before state change and hologram data after state change corresponding to each state change amount and state change condition can do.

상기 출력부(125)는 홀로그램 표시 장치(155)와 연결되어 현실세계의 공간에 홀로그램 객체를 출력하는 홀로그램 출력모듈을 포함하며, 실시 방법에 따라 상기 출력부(125)와 홀로그램 표시 장치(155)는 일체형으로 구현될 수 있다.
The output unit 125 includes a hologram output module connected to the hologram display device 155 to output a hologram object in a real world space, and the output unit 125 and the hologram display device 155, Can be implemented in an integrated manner.

상기 통신부(115)는 어느 하나의 통신 규격과 프로토콜에 따라 유선 통신망과 무선 통신망 중 어느 하나의 통신망에 접속하는 통신모듈을 포함하며, 상기 통신망을 서버(또는 장치)와 통신채널을 연결하거나 또는 다른 증강현실 장치(100)와 통신채널을 연결하는 기능을 수행한다.
The communication unit 115 includes a communication module for connecting to any one of a wired communication network and a wireless communication network according to any communication standard and protocol. The communication unit 115 connects the communication network with a server (or a device) And performs a function of connecting the augmented reality device 100 to a communication channel.

본 발명의 실시 방법에 따르면, 상기 통신부(115)는 통신망 상의 서버(또는 장치)에 저장된 홀로그램 데이터를 수신하는 홀로그램 획득수단의 기능을 수행할 수 있다.
According to the embodiment of the present invention, the communication unit 115 can perform the function of the hologram acquiring unit that receives the hologram data stored in the server (or device) on the communication network.

상기 센서부(130)는 상기 홀로그램 표시 장치(155)를 통해 홀로그램 객체가 표시되는 현실세계 공간에 고정되어 잇는 고정 객체의 위치를 센싱하는 고정 객체 추적 센서(145)와, 현실세계의 이동 객체의 위치를 센싱하는 이동 객체 추적 센서(150)와, 현실세계에 출력되는 홀로그램 객체의 위치를 센싱하는 홀로그램 객체 추적 센서(140)로부터 센서 신호를 획득하는 센서 모듈을 포함한다.
The sensor unit 130 includes a fixed object tracking sensor 145 for sensing a position of a fixed object fixed in a real world space in which a hologram object is displayed through the hologram display device 155, And a sensor module for acquiring a sensor signal from the hologram object tracking sensor 140 that senses the position of the hologram object output to the real world.

본 발명의 실시 방법에 따르면, 상기 고정 객체 추적 센서(145)와 이동 객체 추적 센서(150)와 홀로그램 객체 추적 센서(140)는 하나의 센서로 통합되어 구성될 수 있으며, 별도의 센서로 구성될 수 있다.
According to the embodiment of the present invention, the fixed object tracking sensor 145, the moving object tracking sensor 150, and the hologram object tracking sensor 140 may be integrated into one sensor, .

또는, 상기 홀로그램 객체 추적 센서(140)는 별도의 센서를 이용하지 않고 상기 홀로그램 표시 장치(155)가 현실세계의 공간에 홀로그램 객체를 표시하는 홀로그램 표시 정보를 판독하여 상기 현실세계에 출력되는 홀로그램 객체의 위치를 센싱하는 것이 가능하다.
Alternatively, the hologram object tracking sensor 140 may read the hologram display information for displaying the hologram object in the space of the real world without using a separate sensor and output the hologram object to the hologram object It is possible to sense the position of the object.

본 발명의 실시 방법에 따르면, 상기 고정 객체 추적 센서(145)와 이동 객체 추적 센서(150)와 홀로그램 객체 추적 센서(140)(단, 상기 홀로그램 객체 추적 센서(140)가 홀로그램 표시 장치(155)와 연동하는 경우 생략)는, 광학 방식, 화상 입력 방식, 전자파 방식, 객체 연동 방식, 사운드 판독 방식 중 어느 하나의 센서 방식을 통해 고정 객체, 이동 객체, 홀로그램 객체 중 어느 하나의 객체 위치를 추적한다.
The moving object tracking sensor 150 and the hologram object tracking sensor 140 are disposed on the hologram display device 155 and the hologram object tracking sensor 140, ) Tracks an object position of a fixed object, a moving object, or a hologram object through any one of an optical system, an image input system, an electromagnetic wave system, an object interlocking system, and a sound reading system .

여기서, 상기 광학 방식 객체 추적은 상기 객체 추적 센서에서 육안으로 식별이 난해하며 인체에 무해한 광선(예컨대, 적외선)을 현실세계 공간에 주사하고, 상기 현실세계 공간 내 객체를 통해 반사되는 광선을 인식하여 객체 위치와 이동 방향 및 이동 패턴을 추적하는 방식이다.
In the optical object tracking, the object tracking sensor scans a light ray (for example, infrared rays) which is difficult to be visually recognized and harmless to the human body, and recognizes a light ray reflected through the object in the real world space It is a method to track object position, movement direction and movement pattern.

상기 화상 입력 방식 객체 추적은 상기 객체 추적 센서에서 CCD(Charge Coupled Device) 소자를 포함하는 카메라를 통해 현실세계 공간 내 화상 데이터를 입력하고, 상기 화상 데이터를 판독하여 객체의 위치와 이동 방향 및 이동 패턴을 추적하는 방식이다.
In the image input method object tracking, the object tracking sensor inputs image data in a real world space through a camera including a CCD (Charge Coupled Device) element, reads the image data, .

상기 전자파 방식 객체 추적은 상기 현실세계 공간 내 고정 객체와 이동 객체에 전자파 송출장치에서 송출되는 전자파 신호를 수신하고, 삼각측량 방식으로 상기 객체의 위치와 이동 방향 및 이동 패턴을 추적하는 방식이다. 단, 홀로그램은 전자파 송출이 불가함으로 제외된다.
The electromagnetic wave object tracking is a method of receiving an electromagnetic wave signal transmitted from an electromagnetic wave emitting device to a fixed object and a moving object in the real world space and tracking the position, movement direction and movement pattern of the object by a triangulation method. However, holograms are excluded because they can not transmit electromagnetic waves.

상기 객체 연동 방식 객체 추적은 상기 현실세계 공간을 이동하는 이동 객체에 위치와 이동 방향 및 이동 패턴을 추적할 수 있는 추적센서(또는 모듈)이 구비된 경우, 상기 센서부(130)에서 이동 객체와 통신채널을 연결하고, 상기 통신채널을 통해 상기 이동 객체로부터 상기 추적센서(또는 모듈)을 통해 센싱된 센싱 데이터를 수신 및 판독하여 상기 이동 객체의 위치와 이동 방향 및 이동 패턴을 추적하는 방식이다.
In the case where the tracking unit (or module) for tracking the position, the moving direction and the moving pattern is provided to the moving object moving in the real world space, And a method of connecting the communication channel and receiving and reading the sensing data sensed from the moving object through the tracking sensor (or module) through the communication channel to track the position, movement direction and movement pattern of the moving object.

상기 사운드 판독 방식 객체 추적은 사람의 귀에는 들리지 않는 사운드(예컨대, 초음파)를 현실세계 공간에 주사하고, 상기 현실세계 공간 내 객체를 통해 반사되는 사운드를 인식하여 객체의 위치와 이동 방향 및 이동 패턴을 추적하는 방식이다. 단, 홀로그램은 사운드 반사가 불가함으로 제외된다.
The sound reading type object tracking scans a sound (e.g., an ultrasound wave) not heard by a human ear into a real world space, recognizes a sound reflected through an object in the real world space, . However, holograms are excluded because they can not reflect sound.

그러나, 상기 각 객체 추적 센서가 객체의 위치를 추적하는 방식이 상술된 방식으로 한정되는 것은 결코 아니며, 당업자에 따라 다양하게 변형하여 실시할 수 있으며, 본 발명은 상기 변형 가능한 모든 실시예를 포함한다.
However, the manner in which each object tracking sensor tracks the position of the object is not limited in the above-described manner, and various modifications may be made by those skilled in the art, and the present invention includes all the modifications .

상기 조작부(110)는 상기 증강현실 장치(100)에 사용자 조작이 필요한 경우, 상기 사용자 조작을 입력받는 장치를 포함한다. 상기 조작부(110)는 키 버튼을 구비하여 사용자 조작에 필요한 정보를 키 입력받는 키 입력 모듈과, 상기 출력부(125)와 연동하여 통해 사용자 조작에 필요한 정보를 입력받는 터치 스크린 모듈을 포함한다.
The operation unit 110 includes a device that receives the user operation when a user operation is required to the augmented reality device 100. [ The operation unit 110 includes a key input module having a key button for inputting key information necessary for a user operation and a touch screen module for inputting information necessary for a user operation in cooperation with the output unit 125. [

상기 인터페이스부(135)는 화면 출력 장치(150)와 연결되어 상기 화면 출력 장치(150)를 통해 출력되는 화면 객체 중 상기 홀로그램 표시 장치(155)를 통해 표시할 홀로그램 객체에 대응하는 화면 객체의 이동 방향과 이동 패턴을 확인하고, 또는 상기 홀로그램 표시 장치(155)를 통해 표시되는 홀로그램 객체의 이동 방향과 이동 패턴을 확인하여 상기 화면 출력 장치(150)로 전달하는 인터페이스 모듈을 포함하며, 실시 방법에 따라 상기 인터페이스부(135)와 화면 출력 장치(150)는 일체형으로 구현될 수 있다.
The interface unit 135 is connected to the screen output device 150 to move the screen object corresponding to the hologram object to be displayed through the hologram display device 155 among the screen objects output through the screen output device 150 And an interface module for confirming a direction and a movement pattern or confirming a movement direction and a movement pattern of the hologram object displayed through the hologram display device 155 and delivering the movement direction and the movement pattern to the screen output device 150, Accordingly, the interface unit 135 and the screen output device 150 may be integrated.

도면1을 참조하면, 상기 증강현실 장치(100)는, 상기 홀로그램 표시 장치(155)를 통해 홀로그램 객체가 표시되는 현실세계 3차원 좌표 공간과 상기 화면 출력 장치(150)의 디스플레이 면을 표시하는 디스플레이 2차원 좌표 공간 및 상기 화면 출력 장치(150) 안쪽의 가상세계 3차원 좌표 공간을 하나의 좌표계 상의 좌표 값으로 표시하는 통합 좌표계를 구성하거나, 또는 상기 화면 출력 장치(150)의 디스플레이 면을 표시하는 디스플레이 2차원 좌표계를 기준으로 상기 홀로그램 표시 장치(155)를 통해 홀로그램 객체가 표시되는 현실세계 3차원 좌표계와 상기 화면 출력 장치(150) 안쪽의 가상세계 3차원 좌표계 사이의 좌표 전환식을 구성하는 좌표계 구성부(160)를 구비하며, 상기 통합 좌표계 상의 중력 방향을 결정하는 중력 방향 결정부(162)를 더 구비하고, 상기 고정 추적 센서를 통해 제1 내지 제N(N>1) 고정 객체의 위치를 추적하여 상기 통합 좌표계 상의 좌표 값에 대응하는 제1 내지 제N 고정 객체 위치 좌표 값을 산출하는 고정 객체 위치 산출부(164)를 더 구비할 수 있다. 본 발명의 실시 방법에 따르면, 상기 좌표계 구성부(160), 중력 방향 결정부(162), 고정 객체 위치 산출부(164) 중 하나 이상의 구성부는 상기 제어부(105), 메모리부(120), 출력부(125), 센서부(130), 인터페이스부(135) 및 통신부(115)를 구비한 증강현실 장치(100)와 연결된 서버에 구비될 수 있으며, 실시 방법에 따라 일부 구성요소는 증강현실 장치(100)에 구비되고 나머지 구성부는 상기 서버에 구비될 수 있다.
1, the augmented reality device 100 includes a real-world three-dimensional coordinate space in which a hologram object is displayed through the hologram display device 155, a display (not shown) for displaying a display surface of the screen output device 150, Dimensional coordinate space and the virtual world three-dimensional coordinate space inside the screen output device 150 as coordinate values on one coordinate system or a coordinate system for displaying the display surface of the screen output device 150 Dimensional coordinate system in which a hologram object is displayed through the hologram display device 155 on the basis of the display two-dimensional coordinate system and a virtual world three-dimensional coordinate system inside the screen output device 150, Further comprising a gravity direction determination unit (162) having a configuration unit (160) for determining a gravity direction on the integrated coordinate system, (N > 1) fixed object by calculating the first to Nth fixed object position coordinate values corresponding to the coordinate values on the integrated coordinate system by tracking the positions of the first to Nth (N > 1) 164 may be further provided. According to an embodiment of the present invention, at least one of the coordinate system construction unit 160, the gravity direction determination unit 162, and the fixed object position calculation unit 164 includes the control unit 105, the memory unit 120, And a server connected to the augmented reality device 100 having the controller 125, the sensor unit 130, the interface unit 135, and the communication unit 115. According to an embodiment of the present invention, (100), and the remaining components may be provided in the server.

상기 홀로그램 표시 장치(155)를 통해 홀로그램 객체가 표시되는 현실세계 3차원 좌표 공간은 현실세계 상의 어느 한 특이점을 원점으로 하는 현실세계 3차원 좌표계를 통해 해석되고, 상기 화면 출력 장치(150)의 디스플레이 면을 표시하는 디스플레이 2차원 좌표 공간은 상기 디스플레이 면 상의 어느 한 특이점을 원점으로 하는 디스플레이 2차원 좌표를 통해 해석되고, 상기 화면 출력 장치(150) 안쪽의 가상세계 3차원 좌표 공간은 상기 가상세계 상의 어느 한 특이점을 원점으로 하는 가상세계 3차원 좌표계를 통해 해석된다.
The three-dimensional coordinate space of the real world in which the hologram object is displayed through the hologram display device 155 is interpreted through a real world three-dimensional coordinate system having a singular point in the real world as its origin, Dimensional coordinate space for displaying a plane is interpreted through a display two-dimensional coordinate having a certain singular point on the display plane as an origin, and a virtual world three-dimensional coordinate space inside the screen output device 150 is displayed on the virtual world It is interpreted through the virtual world three dimensional coordinate system which originates at a singular point.

본 발명의 일 실시 방법에 따르면, 상기 좌표계 구성부(160)는 상기 현실세계 3차원 좌표계와 디스플레이 2차원 좌표계 및 가상세계 3차원 좌표계를 상기 현실세계, 디스플레이 면, 가상세계 중 어느 한 특이점을 원점으로 하는 통합 좌표계를 구성한다. 여기서, 상기 통합 좌표계는 상기 화면 출력 장치(150)를 통해 가상세계에 표시되는 화면 객체의 위치와 이동 방향 및 이동 패턴을 상기 디스플레이 면을 기준으로 상기 홀로그램 표시 장치(155)를 통해 현실세계에 표시되는 홀로그램 객체의 위치와 이동 방향 및 이동 패턴으로 연장하여 해석하거나, 또는 상기 홀로그램 표시 장치(155)를 통해 현실세계에 표시되는 홀로그램 객체의 위치와 이동 방향 및 이동 패턴을 상기 화면 출력 장치(150)를 통해 가상세계에 표시되는 화면 객체의 위치와 이동 방향 및 이동 패턴으로 연장하여 해석하기 위한 좌표계이다.
According to one embodiment of the present invention, the coordinate system construction unit 160 converts the real world three-dimensional coordinate system, the display two-dimensional coordinate system and the virtual world three-dimensional coordinate system into the real world, As shown in FIG. The integrated coordinate system displays the position, movement direction, and movement pattern of the screen object displayed in the virtual world through the screen output device 150 on the display screen in the real world through the hologram display device 155 Or the movement direction and the movement pattern of the hologram object displayed on the real world through the hologram display device 155 to the screen output device 150, And a coordinate system for extending and analyzing the position and movement direction of the screen object displayed in the virtual world through the movement direction and the movement pattern.

즉, 상기 화면 출력 장치(150)를 통해 출력되는 가상세계의 화면 객체는 상기 가상세계 3차원 좌표계를 기반으로 출력되며, 다만 상기 통합 좌표계는 상기 화면 객체를 홀로그램 객체로 전환하는 경우에 상기 홀로그램 객체의 초기 위치와, 이동 방향 및 이동 패턴을 결정하기 위한 기준 좌표계로 사용된다. 또한, 상기 홀로그램 표시 장치(155)를 통해 표시되는 현실세계의 홀로그램 객체는 상기 현실세계 3차원 좌표계를 기반으로 표시되며, 다만 상기 통합 좌표계는 상기 홀로그램 객체를 화면 객체로 전환하는 경우에 상기 화면 객체의 초기 위치와, 이동 방향 및 이동 패턴을 결정하기 위한 기준 좌표계로 사용된다.
That is, the screen object of the virtual world output through the screen output device 150 is output based on the virtual world three-dimensional coordinate system. However, when the screen object is converted into the hologram object, And a reference coordinate system for determining the movement direction and the movement pattern. In addition, the hologram object of the real world displayed through the hologram display device 155 is displayed based on the real world three-dimensional coordinate system. However, when the hologram object is converted into the screen object, And a reference coordinate system for determining the movement direction and the movement pattern.

본 발명의 다른 일 실시 방법에 따르면, 상기 좌표계 구성부(160)는 상기 화면 출력 장치(150)의 디스플레이 면을 표시하는 디스플레이 2차원 좌표계를 기준으로 상기 홀로그램 표시 장치(155)를 통해 홀로그램 객체가 표시되는 현실세계 3차원 좌표계와 상기 화면 출력 장치(150) 안쪽의 가상세계 3차원 좌표계 사이의 좌표 전환식을 구성한다. 여기서, 상기 좌표 전환식은 상기 화면 출력 장치(150)를 통해 가상세계에 표시되는 화면 객체의 위치와 이동 방향 및 이동 패턴을 상기 디스플레이 면을 기준으로 상기 홀로그램 표시 장치(155)를 통해 현실세계에 표시되는 홀로그램 객체의 위치와 이동 방향 및 이동 패턴으로 연장하여 해석하거나, 또는 상기 홀로그램 표시 장치(155)를 통해 현실세계에 표시되는 홀로그램 객체의 위치와 이동 방향 및 이동 패턴을 상기 화면 출력 장치(150)를 통해 가상세계에 표시되는 화면 객체의 위치와 이동 방향 및 이동 패턴으로 연장하여 해석하기 위한 좌표 전환식이다.
According to another embodiment of the present invention, the coordinate system construction unit 160 generates a hologram object through the hologram display device 155 based on a display two-dimensional coordinate system that displays a display surface of the screen output device 150 Coordinate transformation formula between the displayed real world three-dimensional coordinate system and the virtual world three-dimensional coordinate system inside the screen output device 150 is constructed. Here, the coordinate conversion type displays the position, movement direction, and movement pattern of the screen object displayed in the virtual world through the screen output device 150 on the display screen in the real world through the hologram display device 155 Or the movement direction and the movement pattern of the hologram object displayed on the real world through the hologram display device 155 to the screen output device 150, And a coordinate conversion expression for extending and analyzing the position and movement direction of the screen object displayed in the virtual world through the movement direction and the movement pattern.

즉, 상기 화면 출력 장치(150)를 통해 출력되는 가상세계의 화면 객체는 상기 가상세계 3차원 좌표계를 기반으로 출력되며, 다만 상기 좌표 전환식은 상기 화면 객체를 홀로그램 객체로 전환하는 경우에 상기 홀로그램 객체의 초기 위치와, 이동 방향 및 이동 패턴을 결정하기 위한 기준 식으로 사용된다. 또한, 상기 홀로그램 표시 장치(155)를 통해 표시되는 현실세계의 홀로그램 객체는 상기 현실세계 3차원 좌표계를 기반으로 표시되며, 다만 상기 좌표 전환식은 상기 홀로그램 객체를 화면 객체로 전환하는 경우에 상기 화면 객체의 초기 위치와, 이동 방향 및 이동 패턴을 결정하기 위한 기준 식으로 사용된다.
That is, the screen object of the virtual world output through the screen output device 150 is output based on the virtual world three-dimensional coordinate system. However, when the screen object is converted into the hologram object, And a reference expression for determining the movement direction and the movement pattern. In addition, the hologram object of the real world displayed through the hologram display device 155 is displayed based on the real world three-dimensional coordinate system. However, when the hologram object is converted into the screen object, And a reference expression for determining the movement direction and the movement pattern.

상기 중력 방향 결정부(162)는 상기 통합 좌표계 또는 좌표 전환식의 어느 한 방향을 중력 방향으로 결정한다. 상기 중력 방향은 사용자 조작에 의해 결정되거나, 또는 상기 고객 객체 추적 센서를 통해 센싱되는 두개 이상의 고객 객체 위치를 비교(예컨대, 바닥 면과 바닥 위의 책상 등)하여 자동 결정될 수 있다.
The gravity direction determination unit 162 determines one direction of the integrated coordinate system or the coordinate conversion type in the gravity direction. The gravity direction may be determined automatically by a user operation or by comparing two or more customer object locations sensed through the customer object tracking sensor (e.g., a desk on the floor and floor, etc.).

상기 고정 객체 위치 산출부(164)는 상기 고정 추적 센서를 통해 현실세계 공간에 존재하는 제1 내지 제N(N>1) 고정 객체의 위치를 추적하여 상기 통합 좌표계 상의 좌표 값에 대응하는 제1 내지 제N 고정 객체 위치 좌표 값을 산출한다. 상기 산출된 제1 내지 제N 고정 객체 위치 좌표 값은 메모리부(120)에 저장될 수 있다.
The fixed object position calculation unit 164 tracks the positions of the first to Nth (N > 1) fixed objects existing in the real world space through the fixed tracking sensor, To the N-th fixed object position coordinate value. The calculated first to N-th fixed object position coordinate values may be stored in the memory unit 120.

도면1을 참조하면, 상기 증강현실 장치(100)는, 상기 인터페이스부(135)와 연동하여 상기 화면 출력 장치(150)를 통해 표시되는 화면 객체의 위치와 제1 이동 방향 및 제1 이동 패턴을 추적하는 화면 객체 추적부(166)와, 상기 화면 객체의 제1 이동 방향이 상기 화면 출력 장치(150) 안쪽에서 상기 화면 출력 장치(150)의 디스플레이 면으로 향하는지 확인하는 이동 방향 확인부(168)와, 상기 화면 객체 이동 방향이 상기 화면 출력 장치(150)의 디스플레이 면으로 향하면, 상기 화면 객체의 위치가 상기 화면 출력 장치(150)의 디스플레이 면과 접하는 좌표 값(1)을 확인하는 좌표 확인부(1)(170)를 구비한다. 본 발명의 실시 방법에 따르면, 상기 화면 객체 추적부(166), 이동 방향 확인부(168), 좌표 확인부(1)(170) 중 하나 이상의 구성부는 상기 제어부(105), 메모리부(120), 출력부(125), 센서부(130), 인터페이스부(135) 및 통신부(115)를 구비한 증강현실 장치(100)와 연결된 서버에 구비될 수 있으며, 실시 방법에 따라 일부 구성요소는 증강현실 장치(100)에 구비되고 나머지 구성부는 상기 서버에 구비될 수 있다.
Referring to FIG. 1, the augmented reality device 100 includes a display unit 150 and a display unit 150. The augmented reality apparatus 100 is connected to the interface unit 135 and displays a position of a screen object displayed through the screen output device 150, A movement direction check unit 168 for checking whether the first movement direction of the screen object is directed from the inside of the screen output device 150 to the display surface of the screen output device 150, (1) that the position of the screen object touches the display surface of the screen output device 150 when the screen object moving direction is directed to the display surface of the screen output device 150 (1) (170). According to an embodiment of the present invention, at least one of the screen object tracking unit 166, the movement direction confirmation unit 168, and the coordinate confirmation unit 170 may include the control unit 105, the memory unit 120, An output unit 125, a sensor unit 130, an interface unit 135, and a communication unit 115. According to an embodiment of the present invention, And the rest of the components may be provided in the server.

상기 화면 객체 추적부(166)는 상기 인터페이스부(135)와 연동하여 상기 화면 출력 장치(150)를 통해 표시되는 가상세계 3차원 좌표계를 확인하고, 상기 가상세계 3차원 좌표계를 통해 화면 객체의 위치와 이동 방향 및 이동 패턴을 추적한다. 여기서, 상기 이동 패턴은 상기 화면 객체의 이동 방향에 중력 방향 값을 결합하여 상기 이동 방향에 변화를 주는 패턴 값을 포함한다.
The screen object tracking unit 166 checks the virtual world three dimensional coordinate system displayed through the screen output device 150 in cooperation with the interface unit 135 and displays the position of the screen object through the virtual world three dimensional coordinate system And the movement direction and the movement pattern. Here, the movement pattern includes a pattern value that changes the movement direction by combining the gravity direction value with the movement direction of the screen object.

상기 이동 방향 확인부(168)는 상기 확인된 화면 객체의 위치와 이동 방향 및 이동 패턴을 판독하여 상기 화면 객체의 이동 방향이 상기 화면 출력 장치(150) 안쪽에서 상기 화면 출력 장치(150)의 디스플레이 면(=사용자 방향)으로 향하는지 확인한다.
The movement direction confirmation unit 168 reads the position, movement direction, and movement pattern of the identified screen object, and determines whether the movement direction of the screen object is within the screen output device 150 from the display of the screen output device 150 Face (= user direction).

만약 상기 화면 객체가 상기 화면 출력 장치(150)의 디스플레이 면(=사용자 방향)으로 향하면, 상기 좌표 확인부(1)(170)는 상기 화면 출력 장치(150)의 디스플레이 면(=사용자 방향)으로 향한 화면 객체의 위치가 상기 화면 출력 장치(150)의 디스플레이 면과 접하는지 확인하고, 상기 화면 객체가 상기 디스플레이 면과 접하는 경우에 화면 객체의 위치가 상기 화면 출력 장치(150)의 디스플레이 면과 접하는 좌표 값(1)을 확인한다.
If the screen object is directed to the display screen (= user direction) of the screen output device 150, the coordinate confirmation unit 170 may display the screen output device 150 on the display screen It is checked whether the position of the screen object facing the screen output device 150 is in contact with the display surface of the screen output device 150. If the position of the screen object is in contact with the display surface of the screen output device 150 Check the coordinate value (1).

여기서, 상기 좌표 값(1)은 상기 좌표계 구성부(160)에 의해 구성된 통합 좌표계 상의 좌표 값으로 산출되거나, 또는 상기 좌표계 구성부(160)에 의해 구성된 좌표 전환식을 통해 가상세계 3차원 좌표계 상의 좌표 값에서 현실세계 3차원 좌표계 상의 좌표 값으로 전환된 좌표 값으로 산출된다.
Here, the coordinate value (1) may be calculated as a coordinate value on the integrated coordinate system configured by the coordinate system construction unit 160, or may be calculated on the basis of the virtual world three-dimensional coordinate system through the coordinate switching system configured by the coordinate system construction unit Coordinate value is converted into the coordinate value converted from the coordinate value to the coordinate value on the real world three-dimensional coordinate system.

도면1을 참조하면, 상기 증강현실 장치(100)는, 상기 화면 객체 위치가 상기 디스플레이 면과 접하면, 상기 홀로그램 표시 장치(155)를 통해 상기 화면 객체를 홀로그램 객체로 전환하여 상기 좌표 값(1)의 위치에 표시하고 상기 홀로그램 객체의 이동 방향과 이동 패턴을 상기 화면 객체에 대한 제1 이동 방향과 제1 이동 패턴으로 유지시키는 홀로그램 객체 표시부(172)를 구비하고, 상기 홀로그램 객체 추적 센서(140)를 통해 상기 홀로그램 표시 장치(155)를 통해 표시되는 홀로그램 객체의 위치를 추적하여 상기 통합 좌표계 상의 좌표 값에 대응하는 홀로그램 객체 위치 좌표 값을 산출하는 홀로그램 객체 위치 산출부(174)를 더 구비한다. 본 발명의 실시 방법에 따르면, 상기 홀로그램 객체 표시부(172), 홀로그램 객체 위치 산출부(174) 중 하나 이상의 구성부는 상기 제어부(105), 메모리부(120), 출력부(125), 센서부(130), 인터페이스부(135) 및 통신부(115)를 구비한 증강현실 장치(100)와 연결된 서버에 구비될 수 있으며, 실시 방법에 따라 일부 구성요소는 증강현실 장치(100)에 구비되고 나머지 구성부는 상기 서버에 구비될 수 있다.
Referring to FIG. 1, the augmented reality device 100 converts the screen object into a hologram object through the hologram display device 155 when the position of the screen object is in contact with the display surface, And a hologram object display unit 172 for displaying the hologram object moving direction and the movement pattern in a first movement direction and a first movement pattern for the screen object, And a hologram object position calculation unit 174 for tracking the position of the hologram object displayed through the hologram display unit 155 and calculating a hologram object position coordinate value corresponding to the coordinate value on the integrated coordinate system . One or more of the hologram object display unit 172 and the hologram object position calculation unit 174 may include the control unit 105, the memory unit 120, the output unit 125, the sensor unit 130, an interface unit 135 and a communication unit 115, and some components may be provided in the augmented reality device 100 according to an embodiment of the present invention, The server may be provided with the server.

상기 화면 객체 위치가 상기 디스플레이 면과 접하여 상기 좌표 값(1)이 산출되면, 상기 홀로그램 객체 표시부(172)는 상기 인터페이스부(135)를 통해 상기 화면 출력 장치(150)를 통해 출력되는 화면 객체를 소거한다. 만약 상기 화면 객체 위치가 상기 디스플레이 면과 접함과 동시에 상기 화면 출력 장치(150)에 의해 상기 화면 객체가 자동 소거되는 경우, 상기 홀로그램 객체 표시부(172)가 상기 화면 출력 장치(150)를 통해 출력되는 화면 객체를 소거하는 기능이 생략되어도 무방하다.
When the screen object position is in contact with the display surface and the coordinate value 1 is calculated, the hologram object display unit 172 displays a screen object output through the screen output device 150 through the interface unit 135 Erase. If the screen object is automatically canceled by the screen output device 150 while the screen object position is in contact with the display screen, the hologram object display 172 is output through the screen output device 150 The function of deleting the screen object may be omitted.

상기 화면 객체 위치가 상기 디스플레이 면과 접하여 상기 좌표 값(1)이 산출되면, 상기 홀로그램 객체 표시부(172)는 상기 화면 객체에 대응하는 홀로그램 객체를 확인(또는 획득)하고, 상기 화면 객체를 상기 홀로그램 객체로 전환하여 상기 좌표 값(1)의 위치를 초기 위치로 결정하여 표시한다.
When the screen object position is in contact with the display surface and the coordinate value (1) is calculated, the hologram object display unit 172 confirms (or acquires) the hologram object corresponding to the screen object, And the position of the coordinate value (1) is determined as an initial position and displayed.

예를들어, 상기 화면 객체가 가상세계의 캐릭터가 라켓을 통해 사용자 방향으로 친 테니스 공이라면, 상기 홀로그램 객체 표시부(172)는 상기 테니스 공이 사용자 방향으로 이동하다가 상기 화면 출력 장치(150)의 화면에서 위치를 상기 좌표 값(1)으로 결정하고, 상기 좌표 값(1)에 대응하는 현실세계 3차원 좌표계 상의 위치에 상기 테니스 공에 대응하는 홀로그램 객체를 표시한다.
For example, if the screen object is a tennis ball in the direction of the user through the racket, the hologram object display unit 172 may move the tennis ball in the direction of the user, (1), and displays a hologram object corresponding to the tennis ball at a position on the real world three-dimensional coordinate system corresponding to the coordinate value (1).

상기 홀로그램 객체가 상기 좌표 값(1)에 표시됨과 동시에, 상기 홀로그램 객체 표시부(172)는 상기 홀로그램 객체의 이동 방향과 이동 패턴을 상기 화면 객체에 대한 제1 이동 방향과 제1 이동 패턴으로 유지시켜 이동하여 표시한다. 여기서, 상기 이동 패턴은 상기 홀로그램 객체의 이동 방향에 상기 홀로그램 객체의 물질 상태 값에 따른 중력 방향 값을 결합하여 상기 이동 방향에 변화를 주는 패턴 값을 포함한다.
The hologram object is displayed on the coordinate value (1), and the hologram object display unit (172) maintains a moving direction and a moving pattern of the hologram object in a first moving direction and a first moving pattern for the screen object Move and display. Here, the movement pattern includes a pattern value that changes a direction of movement of the hologram object by combining gravitational direction values according to a material state value of the hologram object.

예를들어, 상기 화면 객체가 가상세계의 캐릭터가 라켓을 통해 사용자 방향으로 친 테니스 공이라면, 상기 홀로그램 객체 표시부(172)는 상기 테니스 공이 사용자 방향으로 이동하는 궤적을 그대로 유지하여 현실세계 3차원 좌표 공간으로 이동시킨다.
For example, if the screen object is a tennis ball in the direction of the user through the racket, the hologram object display unit 172 maintains the trajectory of moving the tennis ball in the direction of the user, Move to space.

상기 홀로그램 객체 위치 산출부(174)는 상기 홀로그램 객체 추적 센서(140)를 통해 상기 홀로그램 표시 장치(155)를 통해 표시되는 홀로그램 객체의 위치를 추적하여 상기 현실세계 3차원 좌표계(또는 통합 좌표계) 상의 좌표 값에 대응하는 홀로그램 객체 위치 좌표 값을 산출한다. 본 발명의 실시 방법에 따르면, 상기 홀로그램 객체 위치 산출부(174)는 상기 홀로그램 표시 장치(155)로부터 홀로그램 표시 정보를 수신 및 판독하여 상기 통합 좌표계 상의 좌표 값에 대응하는 홀로그램 객체 위치 좌표 값을 산출할 수 있다.
The hologram object position calculation unit 174 tracks the position of the hologram object displayed through the hologram display unit 155 through the hologram object tracking sensor 140 and displays the hologram object position on the real world three dimensional coordinate system The hologram object position coordinate value corresponding to the coordinate value is calculated. According to the embodiment of the present invention, the hologram object position calculation unit 174 receives and reads the hologram display information from the hologram display unit 155, and calculates a hologram object position coordinate value corresponding to the coordinate value on the integrated coordinate system can do.

도면1을 참조하면, 상기 증강현실 장치(100)는, 상기 이동 객체 추적 센서(150)를 통해 상기 통합 좌표계 상의 공간을 이동하는 이동 객의 위치를 추적하여 상기 통합 좌표계 상의 좌표 값에 대응하는 이동 객체 위치 좌표 값을 주기적으로 산출하는 이동 객체 위치 산출부(176)와, 상기 이동 객체 위치 좌표 값과 홀로그램 위치 좌표 값을 비교하여 홀로그램 객체와 이동 객체가 접촉하는지 확인하는 객체 접촉 확인부(178)와, 상기 홀로그램 객체와 이동 객체가 접하면, 상기 홀로그램 객체의 제1 이동 방향에 상기 이동 객체의 이동 방향을 반영하여 상기 홀로그램 객체의 제2 이동 방향과 제2 이동 패턴을 결정하는 홀로그램 객체 이동 결정부(180)와, 상기 제2 이동 방향으로 이동하는 홀로그램 객체가 상기 화면 출력 장치(150)의 디스플레이 면과 접하는 좌표 값(2)을 확인하는 좌표 확인부(2)(182)와, 상기 홀로그램 객체 위치가 상기 디스플레이 면과 접하면, 상기 홀로그램 객체를 상기 홀로그램 표시 장치(155)에서 소거하고, 상기 화면 출력 장치(150)를 통해 상기 홀로그램 객체를 화면 객체로 전환하여 상기 좌표 값(2)의 위치에 표시하고 상기 홀로그램 객체의 제2 이동 방향과 제2 이동 패턴을 상기 화면 객체에 대한 이동 방향과 이동 패턴으로 유지시키는 화면 객체 표시부(184)를 구비한다. 본 발명의 실시 방법에 따르면, 상기 이동 객체 위치 산출부(176), 객체 접촉 확인부(178), 홀로그램 객체 이동 결정부(180), 좌표 확인부(2)(182), 화면 객체 표시부(184) 중 하나 이상의 구성부는 상기 제어부(105), 메모리부(120), 출력부(125), 센서부(130), 인터페이스부(135) 및 통신부(115)를 구비한 증강현실 장치(100)와 연결된 서버에 구비될 수 있으며, 실시 방법에 따라 일부 구성요소는 증강현실 장치(100)에 구비되고 나머지 구성부는 상기 서버에 구비될 수 있다.
Referring to FIG. 1, the augmented reality device 100 tracks a position of a moving object moving in a space on the integrated coordinate system through the moving object tracking sensor 150, and detects a moving object corresponding to a coordinate value on the integrated coordinate system An object contact checking unit 178 for checking whether the hologram object and the moving object are in contact with each other by comparing the moving object position coordinate value and the hologram position coordinate value, Determining a second movement direction and a second movement pattern of the hologram object by reflecting the movement direction of the moving object in a first movement direction of the hologram object when the hologram object and the movement object are in contact with each other, (180), a coordinate value of a hologram object moving in the second movement direction contacting the display surface of the screen output device (150) And a display unit 150 for displaying the hologram object on the hologram display device 155. The coordinate verification unit 2 182 for checking the hologram object on the display screen when the hologram object is in contact with the display surface, For displaying the second movement direction and the second movement pattern of the hologram object in a moving direction and a movement pattern for the screen object by switching the hologram object to a screen object and displaying the hologram object at a position of the coordinate value (2) And an object display unit 184. According to the embodiment of the present invention, the moving object position calculation unit 176, the object contact confirmation unit 178, the hologram object movement determination unit 180, the coordinate verification unit 2 182, the screen object display unit 184 Includes at least one of the augmented reality device 100 having the control unit 105, the memory unit 120, the output unit 125, the sensor unit 130, the interface unit 135 and the communication unit 115 And some components may be included in the augmented reality device 100 according to an embodiment of the present invention, and the remaining components may be provided in the server.

상기 이동 객체 위치 산출부(176)는 상기 이동 객체 추적 센서(150)를 통해 상기 현실세계 공간을 주기적으로 스캔하여 상기 현실세계 공간에서 이동하는 이동객체를 검출하고, 상기 이동 객체 추적 센서(150)를 통해 상기 통합 좌표계 상의 공간을 이동하는 이동 객의 위치를 추적하여 상기 통합 좌표계 상의 좌표 값에 대응하는 이동 객체 위치 좌표 값을 주기적으로 산출한다.
The moving object position calculation unit 176 periodically scans the real world space through the moving object tracking sensor 150 to detect a moving object moving in the real world space, The position of the moving object moving in the space on the integrated coordinate system is tracked and the moving object position coordinate value corresponding to the coordinate value on the integrated coordinate system is periodically calculated.

상기 이동 객체 추적 센서(150)를 통해 이동 객체의 위치가 추적되면, 상기 객체 접촉 확인부(178)는 상기 이동 객체 위치 좌표 값과 홀로그램 객체 위치 산출부(174)를 통해 산출된 홀로그램 위치 좌표 값을 비교하여 홀로그램 객체와 이동 객체가 접촉하는지 확인한다. 여기서, 상기 비교되는 이동 객체 위치 좌표 값과 홀로그램 위치 좌표 값은 상기 통합 좌표계(또는 현실세계 3차원 좌표계) 상의 좌표 값이다.
When the position of the moving object is tracked through the moving object tracking sensor 150, the object contact checking unit 178 detects the moving object position coordinate value and the hologram position coordinate value calculated through the hologram object position calculating unit 174 To check whether the hologram object and the moving object are in contact with each other. Here, the compared moving object position coordinate value and hologram position coordinate value are coordinate values on the integrated coordinate system (or real world three dimensional coordinate system).

만약 상기 홀로그램 객체와 이동 객체가 접하면, 상기 홀로그램 객체 이동 결정부(180)는 상기 홀로그램 객체의 제1 이동 방향에 상기 이동 객체의 이동 방향을 반영하여 상기 홀로그램 객체의 제2 이동 방향과 제2 이동 패턴을 결정한다.
If the hologram object and the moving object are in contact with each other, the hologram object movement determining unit 180 reflects the moving direction of the moving object in the first moving direction of the hologram object, Determine the movement pattern.

예를들어, 상기 홀로그램 객체가 가사세계의 이동 궤적을 그대로 유지하여 현실세계 3차원 좌표 공간으로 이동하는 테니스 공이고, 상기 이동 객체가 상기 테니스 공을 치는 라켓(또는 라켓의 기능을 수행하는 게임장치)인 경우, 상기 홀로그램 객체 이동 결정부(180)는 상기 테니스 공과 라켓이 접촉하는 순간에 상기 테니스 공의 이동 방향을 상기 라켓의 이동 방향으로 전환시키되, 상기 테니스 공과 라켓의 그물 면이 접하는 각도에 따라 상기 홀로그램 객체의 제2 이동 방향과 제2 이동 패턴을 결정한다.
For example, the hologram object is a tennis ball that moves to the real world three-dimensional coordinate space by keeping the movement trajectory of the world of the game as it is, and the moving object is a racket (or a racket) ), The hologram object movement determining unit 180 switches the moving direction of the tennis ball to the movement direction of the racket at the moment when the tennis ball and the racket come into contact with each other, And determines a second movement direction and a second movement pattern of the hologram object.

본 발명의 실시 방법에 따르면, 상기 홀로그램 객체 이동 결정부(180)는, 상기 홀로그램 객체의 제2 이동 방향을 상기 화면 출력 장치(150)의 디스플레이 면 방향으로 유지시키는 것이 바람직하다.
According to an embodiment of the present invention, the hologram object movement determining unit 180 preferably maintains the second movement direction of the hologram object in a display surface direction of the screen output device 150.

예를들어, 상기 홀로그램 객체가 가사세계의 이동 궤적을 그대로 유지하여 현실세계 3차원 좌표 공간으로 이동하는 테니스 공이고, 상기 이동 객체가 상기 테니스 공을 치는 라켓(또는 라켓의 기능을 수행하는 게임장치)인 경우, 상기 테니스 공의 제2 이동 방향이 상기 화면 출력 장치(150)의 디스플레이 면 방향과 다르더라도 상기 홀로그램 객체 이동 결정부(180)는 상기 테니스 공의 이동 방향이 상기 화면 출력 장치(150)의 디스플레이 면 방향으로 향하도록 유지시킨다.
For example, the hologram object is a tennis ball that moves to the real world three-dimensional coordinate space by keeping the movement trajectory of the world of the game as it is, and the moving object is a racket (or a racket) , The hologram object movement determining unit 180 determines that the moving direction of the tennis ball is the same as the moving direction of the screen output device 150 In the direction of the display surface of the display device.

상기 이동 객체에 의해 상기 홀로그램 객체의 제2 이동 방향과 제2 이동 패턴이 결정되면, 상기 좌표 확인부(2)(182)는 상기 제2 이동 방향으로 이동하는 홀로그램 객체가 상기 화면 출력 장치(150)의 디스플레이 면과 접하는지 확인하고, 상기 홀로그램 객체가 상기 화면 출력 장치(150)의 디스플레이 면과 접하면, 상기 제2 이동 방향으로 이동하는 홀로그램 객체가 상기 화면 출력 장치(150)의 디스플레이 면과 접하는 좌표 값(2)을 확인한다.
When the second moving direction and the second moving pattern of the hologram object are determined by the moving object, the coordinate identifying unit (2) 182 determines that the hologram object moving in the second moving direction is not the moving object When the hologram object is in contact with the display surface of the screen output device 150, a hologram object moving in the second movement direction is displayed on the display surface of the screen output device 150 Check the tangent coordinate value (2).

상기 홀로그램 객체가 상기 화면 출력 장치(150)의 디스플레이 면과 접하는 상기 좌표 값(2)이 확인되면, 상기 화면 객체 표시부(184)는 상기 출력부(125)를 통해 상기 홀로그램 표시 장치(155)를 통해 표시되는 홀로그램 객체를 소거한다. 만약 상기 홀로그램 객체 위치가 상기 디스플레이 면과 접함과 동시에 상기 홀로그램 표시 장치(155)에 의해 홀로그램 객체가 자동 소거되는 경우, 상기 이동 객체 위치 산출가 상기 홀로그램 표시 장치(155)를 통해 표시되는 홀로그램 객체를 소거하는 기능이 생략되어도 무방하다.
The screen object display unit 184 displays the hologram object on the hologram display device 155 through the output unit 125 when the coordinate value 2 of the hologram object contacting the display surface of the screen output device 150 is confirmed. And erases the hologram object displayed thereon. If the position of the hologram object is in contact with the display surface and the hologram object is automatically erased by the hologram display device 155, the moving object position calculator may delete the hologram object displayed through the hologram display device 155 May be omitted.

상기 좌표 값(2)이 확인되면, 상기 화면 객체 표시부(184)는 상기 인터페이스부(135)와 연동하여 상기 홀로그램 객체를 화면 객체로 전환하여 상기 화면 출력 장치(150)를 통해 상기 좌표 값(2)의 위치의 가상세계에 상기 화면 객체게 표시되도록 처리하고, 상기 화면 객체가 상기 홀로그램 객체의 제2 이동 방향과 제2 이동 패턴을 유지하도록 상기 화면 출력 장치(150)로 상기 홀로그램 객체의 제2 이동 방향과 제2 이동 패턴을 전달하며, 이에 대응하여 상기 화면 출력 장치(150)는 상기 홀로그램 객체의 제2 이동 방향과 제2 이동 패턴을 유지하는 이동 방향과 이동 패턴으로 상기 화면 객체를 이동시킨다.
When the coordinate value 2 is confirmed, the screen object display unit 184 switches the hologram object to a screen object in cooperation with the interface unit 135 and outputs the coordinate value 2 ) Of the hologram object to be displayed on the screen output device (150) so that the screen object maintains the second movement direction and the second movement pattern of the hologram object, The screen output device 150 moves the screen object in a movement direction and a movement pattern that maintains the second movement direction and the second movement pattern of the hologram object in response to the movement direction and the second movement pattern .

도면2는 본 발명의 실시 방법에 따라 가상세계의 화면 객체와 현실세계의 홀로그램 객체를 전환하는 구성을 도시한 도면이다.
FIG. 2 is a diagram illustrating a configuration for switching a screen object of a virtual world and a hologram object of a real world according to an embodiment of the present invention.

보다 상세하게 본 도면2는 화면 출력 장치(150)를 통해 표시되는 화면 객체의 이동 방향이 상기 화면 출력 장치(150) 안쪽에서 상기 화면 출력 장치(150)의 디스플레이 면으로 향하는 경우 상기 화면 객체를 홀로그램 객체로 전환하여 상기 홀로그램 표시 장치(155)를 통해 현실세계 공간에 출력하고, 상기 홀로그램 표시 장치(155)를 통해 표시되는 홀로그램 객체의 이동 방향이 상기 화면 출력 장치(150)의 디스플레이 면으로 향하는 경우 상기 홀로그램 객체를 상기 화면 객체로 전환하여 상기 화면 출력 장치(150)를 통해 화면 출력하는 구성을 도시한 것이다.
2 illustrates the screen object 150 as a moving object of the screen object 150. When the moving direction of the screen object displayed through the screen output device 150 is directed from the inside of the screen output device 150 to the display surface of the screen output device 150, And outputs the hologram object to the real world space through the hologram display device 155. When the moving direction of the hologram object displayed through the hologram display device 155 is directed to the display surface of the screen output device 150 And converts the hologram object into the screen object and outputs the screen object through the screen output device 150. FIG.

도면2를 참조하면, 객체가 표시되는 좌표 공간은 사용자를 기준으로 디스플레이 면 너머의 가상세계와 사용자가 위치한 현실세계로 나뉘며, 상기 가상세계와 현실세계 사이에는 디스플레이 면이 존재한다.
Referring to FIG. 2, the coordinate space in which an object is displayed is divided into a virtual world beyond the display and a real world in which a user is located based on a user, and a display plane exists between the virtual world and the real world.

현실세계에는 홀로그램 객체를 표시하는 홀로그램 표시 장치(155)가 구비되며, 가상세계를 이동하는 화면 객체가 디스플레이 방향으로 향하다가 상기 디스플레이 면에 도달하면, 상기 화면 객체는 홀로그램 객체로 전환되어 현실세계에 표시된다. 또한, 상기 현실세계에 표시되는 홀로그램 객체의 이동 방향이 디스플레이 방향으로 향하다가 상기 디스플레이 면에 도달하면, 상기 홀로그램 객체는 화면 객체로 전환되어 상기 가상세계로 출력된다.
In the real world, a hologram display device 155 for displaying a hologram object is provided. When the screen object moving in the virtual world reaches the display surface with the display object facing the display direction, the screen object is converted into a hologram object, Is displayed. Also, when the moving direction of the hologram object displayed on the real world reaches the display surface in the display direction, the hologram object is converted into a screen object and output to the virtual world.

도면3은 본 발명의 실시 방법에 따라 화면 객체를 홀로그램 객체로 전환하여 표시하는 과정을 도시한 도면이다.
FIG. 3 is a diagram illustrating a process of converting a screen object into a hologram object according to an embodiment of the present invention.

보다 상세하게 본 도면3은 홀로그램 표시 장치(155) 및 화면 출력 장치(150)와 연결된 증강현실 장치(100)에서 상기 화면 출력 장치(150)를 통해 표시되는 화면 객체의 이동 방향이 상기 화면 출력 장치(150) 안쪽에서 상기 화면 출력 장치(150)의 디스플레이 면으로 향하는 경우 상기 화면 객체를 홀로그램 객체로 전환하여 상기 홀로그램 표시 장치(155)를 통해 현실세계 공간에 출력하는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면3을 참조 및/또는 변형하여 상기 화면 객체를 홀로그램 객체로 전환하여 표시하는 과정에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면3에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.
3 is a diagram illustrating a moving direction of a screen object displayed on the screen output device 150 in the augmented reality device 100 connected to the hologram display device 155 and the screen output device 150, When the display object is directed from the inside of the display device 150 to the display surface of the screen output device 150, the screen object is converted into a hologram object and output to the real world space through the hologram display device 155. Those skilled in the art will appreciate that various ways of performing the process of converting and displaying the screen object into a hologram object (e.g., by omitting some steps or referring to FIG. 3) It will be understood that the invention may be practiced otherwise than as specifically described herein, Indicated only exemplary method is not limited that technical feature.

도면3을 참조하면, 증강현실 장치(100)는 상기 홀로그램 표시 장치(155)를 통해 홀로그램 객체가 표시되는 현실세계 3차원 좌표 공간과 상기 화면 출력 장치(150)의 디스플레이 면을 표시하는 디스플레이 2차원 좌표 공간 및 상기 화면 출력 장치(150) 안쪽의 가상세계 3차원 좌표 공간을 하나의 좌표계 상의 좌표 값으로 표시하는 통합 좌표계를 구성하거나, 또는 상기 화면 출력 장치(150)의 디스플레이 면을 표시하는 디스플레이 2차원 좌표계를 기준으로 상기 홀로그램 표시 장치(155)를 통해 홀로그램 객체가 표시되는 현실세계 3차원 좌표계와 상기 화면 출력 장치(150) 안쪽의 가상세계 3차원 좌표계 사이의 좌표 전환식을 구성하고, 상기 화면 객체 또는 홀로그램 객체의 이동 방향에 대한 이동 패턴을 결정하기 위한 중력 방향을 결정한다(300).
3, the augmented reality device 100 includes a real-world three-dimensional coordinate space in which a hologram object is displayed through the hologram display device 155 and a display two-dimensional (3D) coordinate space in which a display surface of the screen output device 150 is displayed The coordinate space and the virtual world three-dimensional coordinate space inside the screen output device 150 as coordinate values on one coordinate system or a display 2 Dimensional coordinate system in which a hologram object is displayed through the hologram display device 155 based on a dimensional coordinate system and a virtual world three-dimensional coordinate system inside the screen output device 150, The gravitational direction for determining the movement pattern for the moving direction of the object or the hologram object is determined (300).

이후, 상기 증강현실 장치(100)는 상기 화면 출력 장치(150)를 통해 표시되는 화면 객체의 위치와 제1 이동 방향 및 제1 이동 패턴을 추적하고(305), 상기 화면 객체의 제1 이동 방향이 상기 화면 출력 장치(150) 안쪽에서 상기 화면 출력 장치(150)의 디스플레이 면으로 향하는지 확인한다(310).
Thereafter, the augmented reality device 100 tracks (305) the position, the first movement direction, and the first movement pattern of the screen object displayed through the screen output device 150, (310) from the inside of the screen output device (150) to the display surface of the screen output device (150).

만약 상기 화면 객체 제1 이동 방향이 상기 화면 출력 장치(150)의 디스플레이 면으로 향하면(315), 상기 증강현실 장치(100)는 상기 화면 객체의 위치가 상기 화면 출력 장치(150)의 디스플레이 면과 접하는 좌표 값(1)을 확인하고(320), 상기 화면 객체 위치가 상기 디스플레이 면과 접하면, 상기 홀로그램 표시 장치(155)를 통해 상기 화면 객체를 홀로그램 객체로 전환하여 상기 좌표 값(1)의 위치에 표시하고(325), 상기 홀로그램 객체의 이동 방향과 이동 패턴을 상기 화면 객체에 대한 제1 이동 방향과 제1 이동 패턴으로 유지시킨다(330).
If the first direction of the screen object moves toward the display surface of the screen output device 150 in step 315, the augmented reality device 100 determines whether the position of the screen object is on the display surface of the screen output device 150 (1) of the coordinate value (1) is checked (320). When the screen object position is in contact with the display surface, the screen object is converted into a hologram object through the hologram display device (155) (325), and the movement direction and the movement pattern of the hologram object are maintained as the first movement direction and the first movement pattern for the screen object (330).

도면4는 본 발명의 실시 방법에 따라 홀로그램 객체를 화면 객체로 전환하여 표시하는 과정을 도시한 도면이다.
4 is a diagram illustrating a process of converting a hologram object into a screen object and displaying the hologram object according to an embodiment of the present invention.

보다 상세하게 본 도면4는 홀로그램 표시 장치(155) 및 화면 출력 장치(150)와 연결된 증강현실 장치(100)에서 상기 홀로그램 표시 장치(155)를 통해 표시되는 홀로그램 객체의 이동 방향이 상기 화면 출력 장치(150)의 디스플레이 면으로 향하는 경우 상기 홀로그램 객체를 상기 화면 객체로 전환하여 상기 화면 출력 장치(150)를 통해 화면 출력하는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면4를 참조 및/또는 변형하여 상기 홀로그램 객체를 화면 객체로 전환하여 표시하는 과정에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면4에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.
4 shows the direction of movement of a hologram object displayed through the hologram display device 155 in the augmented reality device 100 connected to the hologram display device 155 and the screen output device 150, The hologram object is converted into the screen object and output to the screen output device 150 through the screen output device 150. The present invention is not limited to the above- , It is possible to infer various methods (for example, omitting some steps or changing the order) of the process of switching and displaying the hologram object as a screen object by referring to and / or modifying the drawing 4 However, the present invention is not limited to the above-described embodiments, This is not limited.

도면4를 참조하면, 증강현실 장치(100)는 상기 이동 객체 추적 센서(150)를 통해 이동 객체의 위치를 추적하고, 상기 이동 객체 위치 좌표 값과 홀로그램 위치 좌표 값을 비교하여 홀로그램 객체와 이동 객체가 접촉하는지 확인한다(400).
Referring to FIG. 4, the augmented reality device 100 tracks the position of the moving object through the moving object tracking sensor 150, compares the moving object position coordinate value with the hologram position coordinate value, (400).

만약 상기 홀로그램 객체와 이동 객체가 접하면(405), 상기 증강현실 장치(100)는 상기 홀로그램 객체의 제1 이동 방향에 상기 이동 객체의 이동 방향을 반영하여 상기 홀로그램 객체의 제2 이동 방향과 제2 이동 패턴을 결정하고(415), 상기 제2 이동 방향으로 이동하는 홀로그램 객체가 상기 화면 출력 장치(150)의 디스플레이 면과 접하는 좌표 값(2)을 확인한다(420). 상기 홀로그램 객체 위치가 상기 디스플레이 면과 접하면, 상기 증강현실 장치(100)는 상기 화면 출력 장치(150)를 통해 상기 홀로그램 객체를 화면 객체로 전환하여 상기 좌표 값(2)의 위치에 표시하고(425), 상기 홀로그램 객체의 제2 이동 방향과 제2 이동 패턴을 상기 화면 객체에 대한 이동 방향과 이동 패턴으로 유지시킨다(430).
If the hologram object is in contact with the moving object (405), the augmented reality device 100 reflects the moving direction of the moving object in the first moving direction of the hologram object, 2 moving pattern is determined 415 and a coordinate value 2 at which the hologram object moving in the second moving direction contacts the display surface of the screen output device 150 is checked 420. When the position of the hologram object is in contact with the display surface, the augmented reality device 100 converts the hologram object into a screen object through the screen output device 150 and displays the screen object at the position of the coordinate value (2) 425), and maintains the second movement direction and the second movement pattern of the hologram object as a movement direction and a movement pattern for the screen object (430).

도면5a와 도면5b 및 도면5c는 본 발명의 실시 방법에 따라 화면 객체와 홀로그램 객체를 전환하여 증강현실을 표시하는 예시도 이다.
5A, 5B and 5C are views illustrating an augmented reality by switching a screen object and a hologram object according to an embodiment of the present invention.

보다 상세하게 본 도면5는 상기 도면4에 도시된 실시 방법과 같이 상기 홀로그램 표시 장치(155)를 통해 표시되는 홀로그램 객체의 이동 방향이 상기 화면 출력 장치(150)의 디스플레이 면으로 향하는 경우 상기 홀로그램 객체를 상기 화면 객체로 전환하여 상기 화면 출력 장치(150)를 통해 화면 출력하는 것을 예시한 것이다.
5, when the direction of movement of the hologram object displayed through the hologram display device 155 is directed to the display surface of the screen output device 150 as in the method shown in FIG. 4, To the screen object, and outputs the screen object to the screen output device 150. [0041] FIG.

도면5a는 홀로그램 표시 장치(155)를 통해 표시되는 홀로그램 객체와 이동 객체와 접촉하여 상기 홀로그램 객체의 제1 이동 방향에 상기 이동 객체의 이동 방향을 반영하여 상기 홀로그램 객체의 제2 이동 방향과 제2 이동 패턴을 결정하는 것을 예시한 것이고, 도면5b는 상기 제2 방향으로 이동하는 홀로그램 객체가 상기 화면 출력 장치(150)의 디스플레이 면과 접하여 좌표 값(2)이 확인되는 것을 예시한 것이고, 도면5c는 홀로그램 객체로부터 전환된 화면 객체가 상기 홀로그램 객체의 제2 이동 방향과 제2 이동 패턴을 유지하여 가상세계에서 이동하는 것을 예시한 것이다.
5A illustrates a hologram object displayed through a hologram display device 155 and a moving object in contact with the moving object to reflect the moving direction of the moving object in a first moving direction of the hologram object, 5B illustrates an example in which a coordinate value 2 is confirmed by contacting a hologram object moving in the second direction with a display surface of the screen output device 150. FIG. Illustrates that a screen object converted from a hologram object moves in a virtual world while maintaining a second movement direction and a second movement pattern of the hologram object.

100 : 증강현실 장치 125 : 출력부
135 : 인터페이스부 140 : 홀로그램 객체 추적 센서
145 : 고정 객체 추적 센서 150 : 이동 객체 추적 센서
155 : 화면 출력 장치 155 : 홀로그램 표시 장치
160 : 좌표계 구성부 162 : 중력 방향 결정부
164 : 고정 객체 위치 산출부 166 : 화면 객체 추적부
168 : 이동 방향 확인부 170 : 좌표 확인부(1)
172 : 홀로그램 객체 표시부 174 : 홀로그램 객체 위치 산출부
176 : 이동 객체 위치 산출부 178 : 객체 접촉 확인부
180 : 홀로그램 객체 이동 결정부 182 : 좌표 확인부(2)
184 : 화면 객체 표시부100: augmented reality device 125: output part
135: interface unit 140: hologram object tracking sensor
145: fixed object tracking sensor 150: moving object tracking sensor
155: Screen output device 155: Hologram display device
160: Coordinate system configuration unit 162: Gravity direction determination unit
164: fixed object position calculation unit 166: screen object tracking unit
168: moving direction confirming unit 170: coordinate confirming unit (1)
172: Hologram object display part 174: Hologram object position calculation part
176: Moving object position calculation unit 178: Object contact checking unit
180: Hologram object movement determining unit 182: Coordinate check unit (2)
184: Screen object display

Claims (4)

홀로그램 표시 장치 및 화면 출력 장치와 연결된 증강현실장치에서 실행되는 방법에 있어서,
홀로그램 객체를 표시하는 현실세계 3차원 좌표 공간, 상기 화면 출력 장치의 디스플레이 면을 표시하는 디스플레이 2차원 좌표 공간 및 상기 화면 출력 장치 안쪽의 가상세계 3차원 좌표 공간을 하나의 좌표계 상의 좌표 값으로 표시하는 통합 좌표계를 구성하거나, 또는 상기 디스플레이 2차원 좌표계를 기준으로 상기 현실세계 3차원 좌표계와 상기 가상세계 3차원 좌표계 사이의 좌표 전환식을 구성하는 제1 단계;
상기 디스플레이 2차원 좌표계 상에 표시되는 객체 중 상기 가상세계 3차원 좌표계 측에서 상기 현실세계 3차원 좌표계 방향으로 이동하는 화면 객체의 이동 방향과 이동 패턴을 확인하는 제2 단계; 및
상기 가상세계 3차원 좌표계 측에서 상기 현실세계 3차원 좌표계 방향으로 이동하는 화면 객체가 상기 디스플레이 2차원 좌표계에 접하는 경우 상기 홀로그램 표시 장치를 통해 상기 화면 객체의 이동 방향과 이동 패턴을 연장하여 이동하는 홀로그램 객체를 상기 현실세계 3차원 좌표계 상에 표시하도록 제어하는 제3 단계;를 포함하며,
상기 이동 패턴은, 상기 이동 방향에 중력 방향의 중력 법칙을 결합한 패턴을 포함하여 이루어지는 것을 특징으로 하는 홀로그램 객체 표시 방법.
1. A method executed in an augmented reality device connected to a hologram display device and a screen output device,
A display two-dimensional coordinate space displaying a display surface of the screen output device, and a virtual world three-dimensional coordinate space inside the screen output device as coordinate values on one coordinate system A first step of constructing an integrated coordinate system or a coordinate conversion equation between the real world three dimensional coordinate system and the virtual world three dimensional coordinate system based on the display two dimensional coordinate system;
A second step of confirming a movement direction and a movement pattern of a screen object moving in the direction of the real world three-dimensional coordinate system from the virtual world three-dimensional coordinate system side among the objects displayed on the display two-dimensional coordinate system; And
When a screen object moving in the direction of the real world three-dimensional coordinate system from the virtual world three-dimensional coordinate system side is in contact with the display two-dimensional coordinate system, the movement direction and movement pattern of the screen object are extended through the hologram display device, And a third step of controlling the object to be displayed on the real world three-dimensional coordinate system,
Wherein the moving pattern includes a pattern in which a gravitational law of gravity direction is combined with the moving direction.
제 1항에 있어서,
상기 현실세계 3차원 좌표계 상에서 상기 가상세계 3차원 좌표계 방향으로 이동하는 홀로그램 객체의 이동 방향과 이동 패턴을 확인하는 제4 단계; 및
상기 현실세계 3차원 좌표계 상에서 이동하는 홀로그램 객체가 상기 디스플레이 2차원 좌표계에 접하는 경우 상기 홀로그램 객체의 이동 방향과 이동 패턴을 연장하여 상기 가상세계 3차원 좌표계 상에서 이동하는 화면 객체를 상기 화면 출력 장치의 디스플레이 2차원 좌표계 상에 출력하도록 제어하는 제5 단계;를 더 포함하여 이루어지는 것을 특징으로 하는 홀로그램 객체 표시 방법.
The method according to claim 1,
A fourth step of confirming a movement direction and a movement pattern of the hologram object moving in the direction of the virtual world three-dimensional coordinate system on the real world three-dimensional coordinate system; And
When a hologram object moving on the real world three-dimensional coordinate system touches the display two-dimensional coordinate system, a screen object moving on the virtual world three-dimensional coordinate system by extending the movement direction and movement pattern of the hologram object is displayed on the display Dimensional coordinate system of the hologram object to be displayed on the two-dimensional coordinate system.
제 1항에 있어서, 상기 제3 단계는,
상기 화면 출력 장치의 디스플레이 2차원 좌표계 상에 출력되던 화면 객체의 출력을 중지하는 단계를 더 포함하여 이루어지는 것을 특징으로 하는 홀로그램 객체 표시 방법.
2. The method according to claim 1,
And stopping the output of the screen object output on the display two-dimensional coordinate system of the screen output device.
삭제delete

Images