KR20230122711A - Augmented reality transparent display device with gesture input function and implementation method - Google Patents

Abstract

본 발명은 투명 디스플레이를 이용한 증강현실 구현 장치에서
사용자가 디스플레이 화면과 떨어진 상태에서 사용자의 제스처 입력을 받아 이에 해당하는 커서의 표시 및 이동, 증강 이미지·정보 표시 및 종료 등의 제어 명령 입력을 할 수 있는 장치와 방법에 관한 것이다.
사용자 카메라로 사용자의 제스처 영상을 수신하고, 수신된 영상을 가지고 제어부에서 제스처의 유형 정보를 추출하고, 디스플레이 화면에 추출된 정보에 해당하는 이미지 출력하는 등의 이미지 출력을 제어하는 방법이 게시된다.
이는 원거리에서 화면 비접촉 사용이 가능하여 사용 편리성을 향상시키고, 또한 사용자의 눈을 기준으로 오브젝트와 화면 간의 초점거리 비율을 줄여 증강 이미지와 오브젝트의 일체감을 향상 시킬 수 있다.
The present invention is in an augmented reality implementation device using a transparent display
The present invention relates to a device and method capable of inputting control commands such as displaying and moving a cursor, displaying and ending augmented images/information, and the like by receiving a user's gesture input while the user is away from the display screen.
A method for controlling image output, such as receiving a user's gesture image with a user's camera, extracting gesture type information from a controller using the received image, and outputting an image corresponding to the extracted information on a display screen, is disclosed.
This improves usability by enabling non-contact use of the screen at a distance, and also improves the sense of unity between the augmented image and the object by reducing the focal length ratio between the object and the screen based on the user's eyes.

Description

제스처 입력 기능을 구비한 증강현실 투명 표시장치 및 구현 방법 {Augmented reality transparent display device with gesture input function and implementation method} Augmented reality transparent display device with gesture input function and implementation method {Augmented reality transparent display device with gesture input function and implementation method}

본 발명은 투명디스플레이를 이용한 증강현실 구현 장치에서 사용자의 제스처 입력으로 증강 화면 출력을 제어할 수 있는 장치 및 방법에 관한 것이다.The present invention relates to a device and method capable of controlling an augmented screen output with a user's gesture input in an augmented reality implementation device using a transparent display.

일반적으로 불투명 디스플레이를 가지는 모바일 단말기들은 LCD(Liquid Crystal Display) 및 OLED(Organic Emitting Display)와 또는 LED(Light Emitting Diode) 같은 종류의 스크린을 사용하고 있으며, 오브젝트 카메라를 장착하고 있다. 여기서 증강현실을 구현하는 방법은 오브젝트 카메라로 입력된 영상을 분석하여 관심 오브젝트를 인식하고, 오브젝트에 이미지 또는 텍스트 등과 같은 가상 정보를 합성하여 함께 화면상에 출력하는 방법이다.In general, mobile terminals having opaque displays use liquid crystal displays (LCDs), organic emitting displays (OLEDs), or light emitting diodes (LEDs), and are equipped with object cameras. Here, a method of implementing augmented reality is a method of analyzing an image input by an object camera to recognize an object of interest, synthesizing virtual information such as an image or text with the object, and outputting the same on a screen.

한편, 최근에는 투명 LCD, 투명 OLED 또는 투명필름 디스플레이 등과 같은 투명 디스플레이를 구비한 장치가 많이 이용되고 있다. 이러한 투명 디스플레이는 화면 내 화소 사이사이에 투과창이 더 배치되어 오브젝트 및 배경이 카메라를 통하지 않고 그대로 투사된다. 이러한 투명 디스플레이를 통해 증강현실을 구현하려는 시도가 진행 중이다.Meanwhile, recently, a device having a transparent display such as a transparent LCD, a transparent OLED, or a transparent film display has been widely used. In such a transparent display, transmission windows are further disposed between pixels in the screen so that objects and backgrounds are projected as they are without passing through a camera. Attempts to implement augmented reality through such a transparent display are in progress.

투명 디스플레이는 불투명 디스플레이와 달리 오브젝트가 영상 데이터 처리 등을 통하지 않고 투명디스플레이의 내의 투과창을 통하여 바로 사용자에게 투사된다. 때문에 투명 디스플레이를 통해 투사되는 배경 및 오브젝트 이미지는 사용자의 위치에 따라 위치 및 크기가 변화된다.In the transparent display, unlike the opaque display, an object is directly projected to the user through a transparent window inside the transparent display without going through image data processing or the like. Therefore, the position and size of the background and object images projected through the transparent display are changed according to the user's position.

투명 디스플레이를 구비한 장치에서 증강현실을 구현할 경우는 불투명 디스플레이와 달리 사용자 위치에 따라 다르게 직접 투영되는 배경 및 오브젝트 이미지와 제작되어진 증강이미지를 정합시키는 방법이 요구된다.When implementing augmented reality in a device having a transparent display, unlike an opaque display, a method of matching a background and object image that is directly projected differently according to a user's position and a produced augmented image is required.

이를 해결하기 위한 다음과 같은 발명을 출원한 바 있다.In order to solve this problem, the following invention has been filed.

출원번호: 10-2022-0002402, 발명자 및 출원인: 김동규Application number: 10-2022-0002402, inventor and applicant: Kim Dong-gyu

발명의 명칭: 증강현실 구현 디스플레이 장치 및 방법Title of Invention: Augmented Reality Realization Display Apparatus and Method

발명의 내용을 도 2를 참조하여 요약하면If the content of the invention is summarized with reference to Figure 2

상기 투명 디스플레이를 구비한 증강현실 구현 장치에서 투영되는 오브젝트 이미지와 증강 이미지를 정합하는 방법으로 오브젝트 카메라(2)로 오브젝트(11)의 위치를 산출하고, 사용자용 카메라(3)로 사용자 눈(12)의 위치를 산출하고, 상기 산출된 오브젝트의 위치와 사용자 눈의 위치를 기준으로 사용자가 보는 시선에서 투명디스플레이(1)에 투영되는 오브젝트 이미지의 위치를 산출하여, 투명디스플레이(1)에 표시되는 증강 이미지(9)의 위치를 산출하는 방법이다.The position of the object 11 is calculated by the object camera 2 by a method of matching the object image projected from the augmented reality implementation device with the transparent display and the augmented image, and the user's eye 12 by the user camera 3 ) is calculated, and the position of the object image projected on the transparent display 1 is calculated from the user's line of sight based on the calculated position of the object and the position of the user's eyes, and displayed on the transparent display 1 This is a method for calculating the position of the augmented image 9.

상기 출원번호 10-2022-0002402 증강현실 구현 디스플레이 장치 및 방법에서는 사용자가 원하는 증강 이미지를 선택하고 표시하고 제거하는 등의 화면 제어를 위한 시스템과 방법이 게시되어 있지 않다,In the above Application No. 10-2022-0002402 augmented reality display device and method, a system and method for screen control such as selecting, displaying, and removing an augmented image desired by a user are not disclosed.

화면 제어를 위한 입력 방법과 시스템으로서 잘 알려진 기존 기술들을 적용할 수 있다. 예를 들면 마우스나 키보드 입력을 이용한 제어, 투명 디스플레이 화면 위에 부착되거나 내부에 형성된 터치 패널을 이용한 제어, 투명 디스플레이 화면 주변부에 배치된 적외선 기반의 터치 센서 모듈을 사용한 제어 등을 들 수 있다.As an input method and system for screen control, well-known existing technologies can be applied. For example, control using a mouse or keyboard input, control using a touch panel attached to or formed inside a transparent display screen, control using an infrared-based touch sensor module disposed on the periphery of a transparent display screen, and the like.

그러나 상기 입력 기술들은 사용자가 화면에 근접해야 사용이 가능하다. 근거리 사용 문제점으로 사용자의 눈을 기준으로 근접해 있는 화면에 표시된 증강 이미지와 상대적으로 멀리 있는 오브젝트 간의 초점거리 비율이 증가하여 오브젝트와 증강 이미지의 일체감이 저하될 수 있으며 눈의 피로감도 발생할 수 있다. 광고나 안내용 디지털 사이니지로 활용 시에는 장치의 설치 장소나 위치로 인해 사용자의 화면 터치나 마우스 사용이 어려울 수도 있다.However, the above input techniques are usable only when the user is close to the screen. As a short-distance use problem, the focal distance ratio between the augmented image displayed on the screen close to the user's eyes and the relatively distant object increases, which can degrade the sense of unity between the object and the augmented image and cause eye fatigue. When used as digital signage for advertising or guidance, it may be difficult for the user to touch the screen or use the mouse due to the installation location or location of the device.

이에 본 발명에서는 원거리에서 비접촉으로 사용이 가능한 방법을 가지는 장치를 제시한다. 특히Accordingly, the present invention proposes a device having a method that can be used in a non-contact manner at a distance. especially

보조 입력 도구가 없는 방법을 가지는 장치를 제시한다.A device with a method without an auxiliary input tool is presented.

상술한 바를 달성하기 위한 본 발명의 투명 디스플레이(1)를 구비한 증강현실 구현 장치(10)는 사용자의 제스처를 입력 받는 사용자 카메라(3)와, 제스처 정보 추출부(25)와 커서 위치 산출부(26) 및 기능 실행 제어부(27)를 포함하는 제스처 입력 제어부(200)을 포함하여, 제스처 입력이 가능하도록 구성된다.An augmented reality implementation device 10 having a transparent display 1 of the present invention for achieving the above is a user camera 3 receiving a user's gesture, a gesture information extractor 25, and a cursor position calculator 26 and a gesture input control unit 200 including a function execution control unit 27, configured to enable gesture input.

사용자 카메라(3)로 사용자의 제스처 입력 영상을 수신한 다음, 제스처 입력 제어부(200)에서는 수신된 입력 영상을 기반으로 제스처의 유형 정보를 추출하고 그 유형에 해당되는 기능을 실행하도록 제어하여, 원거리에서 보조 입력 도구가 없이 명령 입력이 가능하게 한다.After receiving the user's gesture input image through the user's camera 3, the gesture input control unit 200 extracts type information of the gesture based on the received input image and controls to execute a function corresponding to the type, Enables command input without auxiliary input tools in .

본 발명은 투명 디스플레이를 사용하는 증강현실 시스템에 있어서,The present invention is an augmented reality system using a transparent display,

사용자가 화면 출력을 제어하기 위한 입력의 방법으로 보조 입력 도구 없이 허공에서 사용자의 제스처로 입력하는 방법을 제공함으로서As a method of input for the user to control the screen output, it provides a method of inputting with the user's gesture in the air without an auxiliary input tool.

원거리에서 화면 비접촉 사용이 가능하여 사용자 편리성을 향상시키고, 또한 사용자의 눈을 기준으로 오브젝트와 화면 간의 초점거리 비율 차이를 줄여 증강 이미지와 오브젝트의 일체감을 향상 시킬 수 있다.It is possible to use the screen non-contact at a distance, which improves user convenience, and also improves the sense of unity between the augmented image and the object by reducing the difference in the focal length ratio between the object and the screen based on the user's eyes.

도 1은 본 발명의 실시 예에 따른 제스처 입력 기능을 구비한 투명 디스플레이 증강현실 표시장치장치에 대한 블록도,
도 2는 본 발명의 장치 구성 및 제스처 동작 설명을 위한 예시도,
도 3은 본 발명의 커서 초기 위치 및 커서 활성화 제스처를 등을 설명하기 위한 예시도,
도 4는 본 발명의 사용자 손 제스처 형태들의 예시도,
도 5은 본 발명의 커서 위치 제어 따른 증강 이미지 자동 실행 흐름도 예,
도 6은 본 발명의 제스처 유형에 따른 증강 이미지 수동 실행 흐름도 예,
도 7은 본 발명의 오브젝트와 사용자 통합 카메라 예.

1 is a block diagram of a transparent display augmented reality display device having a gesture input function according to an embodiment of the present invention;
2 is an exemplary view for explaining the device configuration and gesture operation of the present invention;
3 is an exemplary view for explaining the cursor initial position and cursor activation gesture of the present invention;
4 is an exemplary diagram of user hand gesture types of the present invention;
5 is a flowchart example of automatically executing an augmented image according to cursor position control according to the present invention;
6 is a flowchart example of manually executing an augmented image according to a gesture type of the present invention;
7 is an example of an integrated object and user camera of the present invention.

이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명에 따른 예시적 실시 예를 상세하게 설명한다. 다만, 본 발명이 예시적 실시 예들에 의해 제한되거나 한정되는 것은 아니다.Hereinafter, exemplary embodiments according to the present invention will be described in detail with reference to the contents described in the accompanying drawings. However, the present invention is not limited or limited by exemplary embodiments.

본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.Terms used in this specification are only used to describe specific embodiments, and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly dictates otherwise.

도1 실시 예에 따른 블록도 및 도 2의 장치 구성 및 제스처 동작 설명을 위한 예시도에 따른According to the block diagram according to the embodiment of Fig. 1 and the exemplary diagram for explaining the device configuration and gesture operation of Fig. 2

본 발명의 제스처 입력 기능을 구비한 투명 디스플레이 증강현실 표시장치(10)는The transparent display augmented reality display device 10 having a gesture input function of the present invention

사용자 카메라(3)를 포함하는 카메라부(110),A camera unit 110 including a user camera 3;

영상 처리부(8)와 저장부(7)를 포함하는 제어부(100),A control unit 100 including an image processing unit 8 and a storage unit 7;

투명디스플레이(1)를 포함하는 투명디플레이부(120)를 기반으로Based on the transparent display unit 120 including the transparent display 1

제스처 정보 추출부(25)와 커서 위치 산출부(26) 및 기능 실행 제어부(27)를 포함하는 제스처 입력 제어부(200)을 포함하여 구성된다.It is configured to include a gesture input controller 200 including a gesture information extractor 25, a cursor position calculator 26, and a function execution controller 27.

여기서 사용자가 보는 시선에서 투명디스플레이 내에 투영되는 오브젝트 이미지의 위치를 산출하여 투명디스플레이 화면에 표시되는 증강이미지를 투영되는 오브젝트 이미지에 정합되도록 하기 위해서 카메라부(110)에 오브젝트 카메라(2)를 추가하고, 제어부(100)에 오브젝트 정보 산출부(4)와 사용자 눈 정보 산출부(5)와 증강 이미지 정합부(6)를 추가할 수 있다.Here, the object camera 2 is added to the camera unit 110 in order to calculate the position of the object image projected in the transparent display from the user's gaze and match the augmented image displayed on the transparent display screen to the projected object image. , The object information calculation unit 4, the user eye information calculation unit 5, and the augmented image matching unit 6 may be added to the control unit 100.

사용자 카메라(3)로부터 사용자의 영상을 입력받아 제스처 정보 산출부(25)에서 사용자의 손(22) 정보를 추출하여 손의 위치와 형태를 파악 한다.The user's image is received from the user's camera 3, and the user's hand 22 information is extracted from the gesture information calculation unit 25 to determine the position and shape of the hand.

도 3에서의 예시와 같이 사용자 손(22)이 검지만 편 형상을 취하면, 제스처 정보 추출부(25)와 커서 위치 산출 및 기능 실행 제어부(27)는 이를 파악하여 이에 입력 명령에 해당하는 출력을 수행한다. 본 예시에서는 디스플레이 화면상의 커서가 나타나거나 또는 비활성 상태로 중앙에 표시된 커서가 활성화 되는 예를 제시하였다.As shown in the example of FIG. 3, when the user's hand 22 takes the shape of a black but flat, the gesture information extraction unit 25 and the cursor position calculation and function execution control unit 27 recognize this and output corresponding to the input command. do In this example, an example in which a cursor on a display screen appears or an inactive cursor displayed in the center is activated is presented.

또한 도 2 예시에서와 같이 사용자가 손의 위치를 이동시키면 사용자 카메라(3)로 입력 받은 손 위치 이동 영상을 입력받아 커서 위치 산출 및 기능 실행 제어부(27)에서 커서 동작 프로세싱을 통해 사용자의 손 이동 경로를 따라 커서도 위치를 이동하게 된다.In addition, as shown in the example of FIG. 2 , when the user moves the position of the hand, the hand position movement image received from the user camera 3 is input, the cursor position is calculated, and the user's hand is moved through cursor motion processing in the function execution control unit 27. The cursor moves along the path as well.

사용자가 커서를 쉽게 인지하고 활용하기 위한 방법을 도 2 내지 도 3의 예시를 통해 보다 상세히 설명한다.A method for the user to easily recognize and utilize the cursor will be described in more detail through examples of FIGS. 2 and 3 .

사용자가 투명 디스플레이에 일정 거리 이내로 접근하면 사용자 카메라에서 촬영된 사용자의 형상을 기반으로 먼저 사용자 눈 정보 산출부(5)에서 사용자의 눈의 위치 좌표를 산출한다. 또한 오브젝트 카메라에서 촬영된 영상을 기반으로 오브젝트 정보 산출부(4)에서는 오브젝트의 위치 좌표를 산출한다. 증강 이미지 정합부(6)에서는 파악된 오브젝트의 위치 좌표와 사용자의 눈의 위치 좌표를 기준으로 사용자의 시선에서 투명디스플레이상에 투영되는 오브젝트의 위치 좌표를 산출한다.When the user approaches the transparent display within a certain distance, the user's eye information calculation unit 5 first calculates the positional coordinates of the user's eyes based on the user's shape captured by the user's camera. In addition, based on the image taken by the object camera, the object information calculation unit 4 calculates the positional coordinates of the object. The augmented image matching unit 6 calculates the position coordinates of the object projected on the transparent display from the user's line of sight based on the position coordinates of the identified object and the position coordinates of the user's eyes.

이때 사용자가 손이 특정한 제스처를 하면 디스플레이 화면 중앙에 커서가 나타나거나 또는 중앙에 있던 커서의 형태가 변하여 활성 상태를 보여 준다. 특정한 제스처의 예를 들자면 도 3의 3D회전도의 예와 같이 주먹 형태에서 검지만 펴는 형태를 들 수 있다.At this time, when the user's hand makes a specific gesture, a cursor appears in the center of the display screen or the shape of the cursor in the center changes to show an active state. As an example of a specific gesture, as in the example of the 3D rotation diagram of FIG.

도 3의 정면도는 커서 활성화 상태를 포함하는 디스플레이 화면 초기 상태의 예이다.The front view of FIG. 3 is an example of an initial state of a display screen including a cursor activation state.

디스플레이 화면 중앙에 커서가 나타나 있으며 추가로 깜박일 수 있다. 그리고 커서를 동작 시키는 방법에 대한 안내 문구가 화면상에 표시될 수 있다.A cursor appears in the center of the display screen and may additionally blink. In addition, a guide phrase on how to operate the cursor may be displayed on the screen.

디스플레이 화면에는 추가로 오브젝트(11)가 복수 개 또는 하나의 오브젝트의 면적이 큰 경우, 각각의 오브젝트나 오브젝트의 부분에 대응하는 메뉴를 사용자의 시선(24)에서 투명디스플레이상에 투영되는 오브젝트 들과 정합하여 표시할 수 있다. 도 3의 정면도와 같이 복수의 오브젝트(11)의 예시로 든 경우 배열된 각각의 오브젝트에 정합된 초기 증강 이미지로 오브젝트의 제품명이나 품번 등을 표시할 수 있다.In addition, when there are a plurality of objects 11 on the display screen or the area of one object is large, a menu corresponding to each object or part of the object is displayed on the transparent display from the user's line of sight 24 and objects projected on the transparent display. Matching can be displayed. As shown in the front view of FIG. 3 , when the plurality of objects 11 are exemplified, the product name or product number of the object may be displayed as an initial augmented image matched to each of the objects arranged.

도 2 예시와 같이 사용자 손(22)이 위치A에서 위치B로 이동하면 투명디스플레이 화면상의 커서(23)도 위치A’에서 위치B’으로 이동하도록 한다. 이동 전후 각각의 커서 위치에서 사용자 눈(12)에서 투명디스플레이 화면상의 커서(23)을 지나는 시선(24)과 매칭된 특정 오브젝트(11)에 관련된 정보를 가지는 증강 이미지(9)가 표시될 수 있다. 상기 매칭된 특정 오브젝트(11) 관한 정보를 가지는 증강 이미지(9) 표시 방법으로는 도 5 자동 실행 흐름도와 같이 자동으로 표시하거나 도 6 수동 실행 흐름도와 같이 수동으로 표시할 수 있다.2, when the user's hand 22 moves from position A to position B, the cursor 23 on the transparent display screen also moves from position A' to position B'. An augmented image 9 having information related to a specific object 11 matched with a line of sight 24 passing through the cursor 23 on the transparent display screen from the user's eye 12 at each cursor position before and after the movement may be displayed. . As a method of displaying the augmented image 9 having information about the matched specific object 11, it may be displayed automatically as shown in the automatic execution flow chart of FIG. 5 or manually as shown in the manual execution flow chart of FIG. 6.

도 4에서는 본 발명의 몇 가지의 손 제스처 형태를 예시해 본다.4 illustrates several types of hand gestures of the present invention.

주먹형태에서 검지만 펴고 다시 접는 형태의 제스처는 커서를 활성화 하거나 비활성화를 지시하는 입력 명령으로 활용할 수 있다. 검지만 편 상태에서 손가락을 모두 핀 상태로 변경하는 제스처의 경우에는 증강이미지를 크기 확대 축소나 회전을 지시하는 입력 명령으로, 검지만 편 상태에서 검지를 두드리면 팝업 이미지를 실행하라는 입력 명령으로, 검지만 편 상태에서 검지를 돌리면 팝업 이미지가 사라지라는 입력 명령으로 활용할 수 있다.Gestures in the form of opening and closing the black fist in the form of a fist can be used as input commands to activate or deactivate the cursor. In the case of a gesture that changes all fingers to a pinned state with only the index finger extended, it is an input command instructing scaling or rotation of the augmented image. It is an input command to execute a pop-up image when the index finger is tapped while the index finger is extended. It can be used as an input command to disappear the pop-up image by rotating the index finger in the full state.

부가해서 펴는 손가락의 개수나 특정 도형을 그리는 제스처들을 활용한다면 보다 다양한 입력 명령이 가능해진다.If the number of extended fingers or gestures for drawing a specific figure are used, more diverse input commands are possible.

한편, 입력 제스처는 사용자의 손에 한정되지 않는다. 사용자의 팔 제스처가 될 수도 있고, 머리나 다리, 발을 포함한 신체의 일부분의 제스처를 이용할 수도 있다. 또한 손에 쥐고 있는 특정 물체의 움직임도 이용할 수 있다.Meanwhile, the input gesture is not limited to the user's hand. It may be a gesture of the user's arm, or a gesture of a part of the body including the head, legs, and feet may be used. You can also use the movement of a specific object held in your hand.

도 5를 참조로 하여 커서 위치 제어 따른 증강이미지 자동 실행 시퀀스 적용 예를 설명해본다.Referring to FIG. 5 , an example of applying an augmented image automatic execution sequence according to cursor position control will be described.

사용자 카메라(3)로부터 사용자의 영상을 입력받아 제스처 정보 추출부(25)에서 사용자의 손(22) 정보를 추출하여 손의 위치와 손의 형태 및 손이 움직임 등을 파악 한다.The user's image is input from the user's camera 3, and the user's hand 22 information is extracted from the gesture information extractor 25 to determine the hand's position, hand's shape, and hand's movement.

먼저 커서의 활성화 상태를 파악하는데, 커서가 비활성화 상태라면 입력된 손의 정보가 커서 활성화 제스처 인지를 판단한다. 커서 활성화 제스처가 아닌 다른 제스처라면 무시하고 커서 활성화 제스처를 입력 받을 때까지 손 제스처에 대한 모니터링만 계속하여 실시한다.First, the activation state of the cursor is identified. If the cursor is in an inactive state, it is determined whether the input hand information is a cursor activation gesture. If it is a gesture other than the cursor activation gesture, it is ignored and only the hand gesture is continuously monitored until the cursor activation gesture is received.

제스처 정보 추출부(25)에서 제스처 모니터링 중에 커서 활성화 제스처가 파악되면 커서를 활성화 시키고, 이어지는 입력 영상을 분석하여 커서 이동 제스처가 파악되면 커서 위치 산출 및 기능 실행 제어부(27)에서는 손의 이동에 따라 커서 위치를 이동시킨다.If the gesture information extractor 25 recognizes a cursor activating gesture during gesture monitoring, the cursor is activated, and if a cursor movement gesture is identified by analyzing the subsequent input image, the cursor position calculation and function execution control unit 27 calculates the cursor position and executes the function according to the movement of the hand. Move the cursor position.

커서가 이동하여 사용자의 시선에서 투명디스플레이상에 투영되는 오브젝트의 특정 위치에 오게 되면 미리 프로그램 되어있는 증강 이미지 출력을 실행 시킨다. 예를 들어 특정 행과 열에 배치된 오브젝트에 커서가 위치하게 되면 해당되는 오브젝트의 제품 사양을 화면에 출력 시킬 수 있다. 커서가 이동하면 이동된 커서 위치에 있는 해당되는 다른 행과 열의 오브젝트의 제품 사양이 표시된다.When the cursor moves and comes to a specific position of the object projected on the transparent display from the user's line of sight, the pre-programmed augmented image output is executed. For example, when the cursor is positioned on an object arranged in a specific row and column, product specifications of the corresponding object can be displayed on the screen. When the cursor is moved, the product specifications of the object in the corresponding other row and column at the moved cursor position are displayed.

또 다른 실시 예로 오브젝트가 자동차와 같은 큰 단일 물체의 경우에는 커서가 자동차의 어느 부분에 위치하게 되면, 그 부분에 해당하는 증강하는 이미지·정보가 표시되도록 할 수 있다.As another embodiment, when the object is a single large object such as a car, when the cursor is positioned on a certain part of the car, augmented images/information corresponding to that part may be displayed.

추가로 증강 이미지·정보 표시가 사라지게 하는 방법의 예로서는 증강 이미지·정보 표시 후 일정 시간이 되면 자동으로 사라지게 하거나, 특정 제스처를 실행하거나, 커서 비활성화 제스처를 이용할 수도 있다.As an example of a method of making the display of augmented image/information disappear automatically after a certain period of time has elapsed after displaying the augmented image/information, a specific gesture may be executed, or a cursor deactivation gesture may be used.

도 6을 참조로 하여 제스처 유형에 따른 증강이미지 수동 실행 시퀀스 적용 예를 설명해본다.Referring to FIG. 6, an example of applying a sequence of manually executing an augmented image according to a gesture type will be described.

수동 실행 시퀀스의 경우에도 커서의 활성화 및 이동에 있어서는 도 5의 예와 동일하게 작동 될 수 있다. 즉, 커서가 비활성화 상태라면 활성화 입력을 받을 때 까지 손 제스처에 대한 모니터링만 계속하여 실시하다가, 커서 활성화 제스처에 의해 커서를 활성화 시키고, 손의 이동에 따라 커서도 움직이는 시퀀스이다.Even in the case of a manual execution sequence, the same operation as in the example of FIG. 5 can be performed in activating and moving the cursor. That is, if the cursor is in an inactive state, only the hand gesture is continuously monitored until an activation input is received, the cursor is activated by the cursor activation gesture, and the cursor moves according to the movement of the hand.

도 6의 시퀀스가 도 5의 시퀀스와 다른 점은 다양한 기능 실행 제스처를 파악하여 해당 기능을 실행하는 시퀀스가 추가되었다는 점이다. 이 경우에는 커서가 사용자의 시선에서 투명 디스플레이에 투영되는 오브젝트의 특정 위치에 위치하더라도 증강 이미지·정보가 자동으로 표시되지 않고, 증강 이미지·정보 표시기능을 실행하라는 특정 제스처 입력을 받아야만 커서 위치 산출 및 기능 실행 제어부(27)에서 증강 이미지·정보 표시 명령을 수행하게 된다.The difference between the sequence of FIG. 6 and the sequence of FIG. 5 is that a sequence for executing a corresponding function by recognizing various function execution gestures has been added. In this case, even if the cursor is located at a specific position of the object projected on the transparent display from the user's line of sight, the augmented image/information is not automatically displayed, and only when a specific gesture input to execute the augmented image/information display function is received, the cursor position is calculated and The function execution control unit 27 executes an augmented image/information display command.

상기 다양한 기능 실행 제스처로 입력받는 기능들은 증강 이미지·정보 표시기능 뿐만 아니라 기존 입력 수단인 마우스를 이용한 입력 기능들을 대체하여 행할 수 있다. 예를 들면 메뉴 화면을 띄우고, 실행하고자 하는 메뉴를 선택하여 실행시키고, 화면 자판을 띄우고, 자판 내 글자를 차례로 선택하여 단어를 입력 시키는 등의 다양한 입력 기능들을 대체할 수 있다.Functions received through the various function execution gestures can be performed by replacing not only augmented image and information display functions but also input functions using a mouse, which is an existing input means. For example, various input functions such as displaying a menu screen, selecting and executing a menu to be executed, displaying a keyboard on the screen, and inputting a word by sequentially selecting letters in the keyboard can be substituted.

도 7은 오브젝트 카메라(2)와 사용자 카메라(3)를 180도 회전이 가능한 하나의 통합 카메라 시스템으로 일원화한 예시이다.7 is an example of unifying the object camera 2 and the user camera 3 into one integrated camera system capable of rotating 180 degrees.

오브젝트의 위치 정보 추출 시에는 통합카메라의 방향을 오브젝트 방향으로 향하게 하고, 사용자의 위치 좌표 추출 및 제스처 입력 시에는 통합카메라의 방향을 사용자 방향으로 향하게 하면, 하나의 카메라 시스템으로 오브젝트 카메라와 사용자 카메라 역할 모두가 가능해진다. 이는 카메라 시스템의 구성비용을 절약할 수 있으며 오브젝트와 사용자간 상대 좌표 산출 오차도 최소화 할 수 있는 장점이 있다.When the location information of an object is extracted, the direction of the integrated camera is directed toward the object, and when the direction of the integrated camera is directed toward the user when extracting the user's position coordinates and inputting a gesture, the object camera and the user's camera act as a single camera system. everything becomes possible This has the advantage of saving the configuration cost of the camera system and minimizing the relative coordinate calculation error between the object and the user.

1:투명디스플레이
2:오브젝트 카메라
3:사용자 카메라
4:오브젝트 정보 산출 부
5:사용자 눈 정보 산출부
7:저장부
8:영상 처리 부
9:정합된 증강 이미지
22:사용자의 손
23:커서
24:시선

1: Transparent display
2: Object camera
3: User camera
4: Object information calculation unit
5: user eye information calculation unit
7: Storage unit
8: image processing unit
9: Registered Augmented Image
22: user's hand
23: Cursor
24: gaze

Claims (4)

투명디스플레이(1)와,
오브젝트 카메라(2)와,
사용자 카메라(3)와,
저장부를 포함하여 이들의 작동을 제어하는 제어부(100)를 포함하고,
오브젝트 카메라로 촬영한 영상으로 오브젝트의 위치를 산출하고,
사용자 카메라로 촬영한 영상으로 사용자의 눈의 위치를 산출하고,
상기 산출된 실제 오브젝트의 위치와 사용자의 눈 위치를 기준으로
사용자가 보는 시선에서 투명디스플레이 내에 투영되는 오브젝트 이미지의 위치를 산출하여
상기 투명디스플레이 화면에 투영되는 오브젝트 이미지의 위치에 정합 되도록
증강 이미지(9)를 표시하는 증강현실 구현 장치(10)에 있어서,
사용자의 제스처 입력 정보를 추출하여 해당하는 기능을 실행시키는 제스처 입력 제어부를 추가하여,
사용자 카메라로부터 사용자의 제스처 영상을 입력받아 제스처 입력 제어부에서 사용자의 제스처 정보를 추출하여 해당하는 기능을 실행하는 증강현실 구현 장치.
a transparent display 1;
an object camera 2;
a user camera 3;
A control unit 100 including a storage unit and controlling their operation,
Calculate the position of the object with the image taken by the object camera,
The position of the user's eyes is calculated from the image taken by the user's camera,
Based on the calculated position of the real object and the position of the user's eyes
By calculating the position of the object image projected in the transparent display from the user's gaze
To match the position of the object image projected on the transparent display screen
In the augmented reality implementation device 10 displaying the augmented image 9,
By adding a gesture input control unit that extracts user's gesture input information and executes a corresponding function,
An augmented reality implementation device that receives a user's gesture image from a user's camera, extracts user's gesture information from a gesture input control unit, and executes a corresponding function.
제 1항에서
사용자 제스처로 사용자 손(22) 제스처를 사용하는 증강현실 구현 장치.
in paragraph 1
An augmented reality implementation device using a user's hand (22) gesture as a user's gesture.
제 1항에서
투명디스플레이 화면상에 커서가 사용자의 제스처에 연동하여 활성화하거나 이동하는 증강현실 구현 장치.
in paragraph 1
An augmented reality implementation device in which a cursor on a transparent display screen is activated or moved in conjunction with a user's gesture.
제 3항에서
표시되는 증강 이미지(9)는 사용자 눈(12)에서 투명디스플레이 화면상의 커서(23) 위치를 통과하는 시선(24)과 매칭된 특정 오브젝트(11)에 관련된 이미지 정보인 증강현실 구현 장치.
in paragraph 3
The displayed augmented image 9 is image information related to a specific object 11 matched with the gaze 24 passing through the cursor 23 position on the transparent display screen from the user's eye 12 Augmented reality implementation device.