KR20200122754A - Smart glass system for providing augmented reality image - Google Patents

Smart glass system for providing augmented reality image Download PDF

Info

Publication number
KR20200122754A
KR20200122754A KR1020190045856A KR20190045856A KR20200122754A KR 20200122754 A KR20200122754 A KR 20200122754A KR 1020190045856 A KR1020190045856 A KR 1020190045856A KR 20190045856 A KR20190045856 A KR 20190045856A KR 20200122754 A KR20200122754 A KR 20200122754A
Authority
KR
South Korea
Prior art keywords
smart glasses
image
information
management server
work
Prior art date
Application number
KR1020190045856A
Other languages
Korean (ko)
Inventor
김광용
송기봉
이준경
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020190045856A priority Critical patent/KR20200122754A/en
Publication of KR20200122754A publication Critical patent/KR20200122754A/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

The present invention relates to a smart glasses system providing an augmented reality image. According to an embodiment of the present invention, the smart glasses system may include smart glasses and a management server. The smart glasses may include a camera which acquires a work image by photographing a work device, and a display which displays an augmented reality image corresponding to the work image. The management server may generate the augmented reality image based on the work image, a position and a direction of the smart glasses, and a pupil position of a worker wearing the smart glasses. The smart glasses may change the augmented reality image and determine a communication target and communication information based on voice information.

Description

증강 현실 이미지를 제공하는 스마트 안경 시스템{SMART GLASS SYSTEM FOR PROVIDING AUGMENTED REALITY IMAGE}Smart glasses system that provides an augmented reality image {SMART GLASS SYSTEM FOR PROVIDING AUGMENTED REALITY IMAGE}

본 발명은 스마트 정보 통신에 관한 것으로, 좀 더 구체적으로 증강 현실 이미지를 제공하는 스마트 안경 시스템에 관한 것이다.The present invention relates to smart information communication, and more specifically, to a smart glasses system that provides an augmented reality image.

스마트 폰, 스마트 워치, 스마트 패드 등 사용자에게 다양한 서비스를 제공하는 전자 기기들이 제공되고 있다. 사용자들은 스마트 전자 기기들을 이용하여 정보 제공에 참여하거나, 정보를 공유하고, 서로 소통할 수 있다. 따라서, 스마트 전자 기기들은 사용자에 다양한 경험을 제공하고, 사용자 친화적인 서비스를 제공할 수 있다. 오늘날 산업 현장에서, 스마트 정보 통신을 이용하여, 작업자의 현재 상황에 맞는 작업 수행을 유도하는 스마트 팩토리 구축에 대한 요구가 제기되고 있다. 이러한 스마트 팩토리 구축을 통하여, 작업자의 실수가 감소하고, 생산성이 향상될 수 있다.Electronic devices that provide various services to users such as smart phones, smart watches, and smart pads are being provided. Users can participate in information provision, share information, and communicate with each other using smart electronic devices. Accordingly, smart electronic devices can provide various experiences to users and provide user-friendly services. In today's industrial sites, there is a demand for constructing a smart factory that uses smart information and communication to induce workers to perform tasks appropriate to the current situation. Through the establishment of such a smart factory, mistakes of workers can be reduced and productivity can be improved.

작업자의 작업 효율의 향상을 위하여, 현장의 작업자는 스마트 워치, 태블릿, 또는 스마트 폰을 활용할 수 있다. 다만, 태블릿 또는 스마트 폰의 경우, 정보를 확인하기 위하여 작업자의 손이 구속되어, 자유로운 작업이 방해된다. 스마트 워치의 경우, 정보를 확인하기 위하여 작업자의 조작 또는 시선 이동 등이 요구되어, 자유로운 작업이 방해된다. 따라서, 작업자의 움직임을 구속하지 않으면서 (예를 들어, 핸즈 프리(hands free)), 작업 수행 상태를 유지할 수 있는 스마트 전자 기기가 요구된다.In order to improve the work efficiency of the worker, the worker in the field may utilize a smart watch, a tablet, or a smart phone. However, in the case of a tablet or a smart phone, the operator's hand is restrained in order to check the information, preventing free work. In the case of a smart watch, an operator's manipulation or gaze movement is required to check information, which hinders free work. Accordingly, there is a need for a smart electronic device capable of maintaining a work performance state without restricting the movement of the worker (eg, hands free).

본 발명은 산업 현장의 작업자를 구속하지 않고, 작업 효율 및 편의성을 증가시킬 수 있는 증강 현실 이미지를 제공하는 스마트 안경 시스템을 제공할 수 있다.The present invention can provide a smart glasses system that provides an augmented reality image capable of increasing work efficiency and convenience without restraining a worker in an industrial site.

본 발명의 실시예에 따른 스마트 안경 시스템은 스마트 안경 및 관리 서버를 포함할 수 있다. 스마트 안경은 작업 장치를 촬영하여 작업 이미지를 획득하는 카메라 및, 작업 이미지에 대응되는 증강 현실 이미지를 표시하는 디스플레이를 포함할 수 있다. 관리 서버는 작업 이미지, 스마트 안경의 위치 및 방향, 및 스마트 안경을 착용한 작업자의 동공 위치에 기초하여 증강 현실 이미지를 생성할 수 있다. 스마트 안경은 음성 정보에 기초하여 증강 현실 이미지를 변경하고 통신 대상 및 통신 정보를 결정할 수 있다.The smart glasses system according to an embodiment of the present invention may include smart glasses and a management server. The smart glasses may include a camera that acquires a work image by photographing a work device, and a display that displays an augmented reality image corresponding to the work image. The management server may generate an augmented reality image based on the work image, the position and direction of the smart glasses, and the pupil position of the worker wearing the smart glasses. The smart glasses may change an augmented reality image and determine a communication target and communication information based on the voice information.

본 발명의 실시예에 따른 스마트 안경 시스템은 음성 명령어 기반으로 제어되고, 작업 제어를 위한 증강 현실 이미지를 제공함으로써, 핸즈 프리로 정보 교환 및 작업 가이드가 가능하다.The smart glasses system according to an embodiment of the present invention is controlled based on a voice command and provides an augmented reality image for controlling a task, thereby enabling hands-free information exchange and work guide.

또한, 본 발명에 따르면, 별도의 움직임 또는 동작 없이도 작업 공정 또는 지시 사항에 대한 확인이 가능하여, 작업 효율 및 작업 생산량이 증가할 수 있다.In addition, according to the present invention, it is possible to check a work process or instruction without a separate movement or operation, so that work efficiency and work output can be increased.

도 1은 본 발명의 실시예에 따른 스마트 안경 시스템을 도시한 도면이다.
도 2는 도 1의 스마트 안경의 예시적인 블록도이다.
도 3은 도 1의 스마트 안경의 동작을 설명하기 위한 예시적인 도면이다.
도 4는 도 1의 스마트 안경 시스템의 동작을 위하여 요구되는 정보의 관리 방법에 대한 순서도이다.
도 5는 도 1의 스마트 안경 시스템의 동작 방법에 대한 순서도이다.
도 6은 도 5의 S210 단계를 구체화한 순서도이다.
도 7은 도 5의 S230 단계를 구체화한 순서도이다.
도 8은 도 5의 S250 단계를 구체화한 순서도이다.
도 9는 도 5의 S290 단계를 구체화한 순서도이다.1 is a diagram showing a smart glasses system according to an embodiment of the present invention.
2 is an exemplary block diagram of the smart glasses of FIG. 1.
3 is an exemplary diagram for explaining the operation of the smart glasses of FIG. 1.
4 is a flowchart illustrating a method of managing information required for the operation of the smart glasses system of FIG. 1.
5 is a flowchart of a method of operating the smart glasses system of FIG. 1.
6 is a flowchart illustrating step S210 of FIG. 5.
7 is a flowchart illustrating step S230 of FIG. 5.
FIG. 8 is a flow chart illustrating step S250 of FIG. 5.
9 is a flowchart illustrating step S290 of FIG. 5.

아래에서는, 본 발명의 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있을 정도로, 본 발명의 실시 예들이 명확하고 상세하게 기재된다.In the following, embodiments of the present invention are described clearly and in detail to the extent that a person having ordinary knowledge in the technical field of the present invention can easily implement the present invention.

도 1은 본 발명의 실시예에 따른 스마트 안경 시스템을 도시한 도면이다. 도 1을 참조하면, 스마트 안경 시스템(100)은 스마트 안경(110), 작업 장치(120), 관리 서버(130), 단말기(140), 및 네트워크(150)를 포함한다.1 is a diagram showing a smart glasses system according to an embodiment of the present invention. Referring to FIG. 1, a smart glasses system 100 includes a smart glasses 110, a work device 120, a management server 130, a terminal 140, and a network 150.

스마트 안경(110)은 작업자의 헤드에 착용될 수 있다. 작업자는 스마트 안경(110)의 글라스를 통하여 작업 장치(120)를 볼 수 있도록 작업자의 눈에 인접하게 착용될 수 있다. 작업자는 스마트 안경(110)을 통하여, 작업 수행을 위한 다양한 정보를 제공 받고, 단말기(140) 등에 질의 요청을 수행할 수 있다. 스마트 안경(110)은 이러한 동작들을 수행하기 위하여 작업자를 구속하지 않을 수 있다. 스마트 안경(110)은 스마트 워치 또는 스마트 폰과 같이 사용자가 정보를 확인하기 위하여, 손을 구속하거나 시선을 이동시키는 등의 동작을 요구하지 않는다. 따라서, 작업자의 작업 효율이 증가하고, 작업물의 생산량이 증가할 수 있다.Smart glasses 110 may be worn on the operator's head. The worker may be worn adjacent to the worker's eyes so that the worker can see the work device 120 through the glass of the smart glasses 110. A worker may receive various information for performing a task through the smart glasses 110 and may perform a query request to the terminal 140 or the like. The smart glasses 110 may not restrain an operator in order to perform these operations. The smart glasses 110 do not require an operation such as restraining a hand or moving a gaze in order for a user to check information, such as a smart watch or a smart phone. Accordingly, the work efficiency of the worker can be increased, and the production amount of the work can be increased.

작업자가 스마트 안경(110)을 통하여 작업 장치(120)를 주시하는 경우, 스마트 안경(110)은 작업 장치(120)에 대응되는 증강 현실(Augmented Reality) 이미지 (이하, AR 이미지)를 표시할 수 있다. AR 이미지는 스마트 안경(110)의 글라스에 투영된다. 이를 위하여, 글라스는 AR 이미지를 표시하기 위한 디스플레이 패널을 포함할 수 있다. AR 이미지는 작업 장치(120) 또는 작업물과 관련된 식별 정보, 작업 정보, 스마트 안경(110)의 동작 선택을 위한 메뉴 정보를 포함하는 가상 이미지일 수 있다. 이러한 AR 이미지는 사전에 관리 서버(130)에 저장 및 관리될 수 있다. 스마트 안경(110)이 AR 이미지를 표시하는 구체적인 동작은 후술된다.When the worker gazes at the working device 120 through the smart glasses 110, the smart glasses 110 may display an augmented reality image (hereinafter, AR image) corresponding to the working device 120. have. The AR image is projected onto the glass of the smart glasses 110. To this end, the glass may include a display panel for displaying an AR image. The AR image may be a virtual image including identification information related to the work device 120 or work, work information, and menu information for selecting an operation of the smart glasses 110. These AR images may be stored and managed in the management server 130 in advance. A specific operation of the smart glasses 110 displaying an AR image will be described later.

스마트 안경(110)의 동작 제어는 음성 인식 기반으로 수행될 수 있다. 작업자의 음성은 스마트 안경(110)에 포함된 마이크로폰 (또는 별도로 구비된 마이크로폰)에 입력될 수 있다. 스마트 안경(110)은 음성 인식을 통하여, 다양한 동작들 중 적어도 하나를 선택하고 해당 동작을 수행할 수 있다. 일례로, 음성 인식 결과에 기초하여, 스마트 안경(110)의 온/오프, 메뉴 정보의 표시, 스마트 안경(110)과 단말기(140)의 통신 등의 동작들이 수행될 수 있다. 일례로, 스마트 안경(110)은 음성 인식 결과에 기초하여 AR 이미지를 변경할 수 있다. 일례로, 스마트 안경(110)은 음성 인식 결과에 기초하여, 통신 대상 (일례로, 단말기(140)) 및 통신 정보 (데이터 또는 메시지 등)를 결정할 수 있다. 음성 인식 기반의 스마트 안경(110)의 구체적인 동작은 후술된다.Operation control of the smart glasses 110 may be performed based on voice recognition. The operator's voice may be input to a microphone (or a separate microphone) included in the smart glasses 110. The smart glasses 110 may select at least one of various operations and perform a corresponding operation through voice recognition. As an example, operations such as on/off of the smart glasses 110, display of menu information, and communication between the smart glasses 110 and the terminal 140 may be performed based on the voice recognition result. For example, the smart glasses 110 may change the AR image based on the result of speech recognition. For example, the smart glasses 110 may determine a communication target (for example, the terminal 140) and communication information (data or message, etc.) based on the result of speech recognition. The specific operation of the voice recognition-based smart glasses 110 will be described later.

작업 장치(120)는 작업물의 생산, 설계, 개발, 또는 유통 등 다양한 작업들을 수행하도록 구성된다. 작업 장치(120)는 이러한 작업들을 수행하기 위한 기계 장치 또는 전자 장치를 포함할 수 있다. 일례로, 작업 장치(120)는 작업물을 제조하기 위한 기계 설비 또는 작업물의 제조를 제어하기 위한 컴퓨터 장치를 포함할 수 있다. The working device 120 is configured to perform various tasks such as production, design, development, or distribution of a work. The working device 120 may include a mechanical device or an electronic device for performing these tasks. As an example, the working device 120 may include a mechanical device for manufacturing the work or a computer device for controlling the production of the work.

작업 장치(120)는 스마트 안경(110), 관리 서버(130), 또는 단말기(140) 등과 정보를 교환하기 위한 통신 장치를 포함할 수 있다. 다만, 이에 제한되지 않고, 통신 장치는 작업 장치(120)가 구비된 공간 내에 별도로 존재할 수 있고, 작업 장치(120)는 통신 장치를 이용하여 다른 구성 요소들과 정보를 교환할 수 있다. 일례로, 스마트 안경(110)은 통신 장치를 이용하여 네트워크(150)에 연결되고, 관리 서버(130) 또는 단말기(140) 등과 통신할 수 있다. 작업 장치(120)에 통신 장치의 통신 속성 정보를 포함하는 QR 코드가 삽입될 수 있다. 통신 속성 정보는 통신 장치와 네트워크(150)의 연결 및 데이터 송수신과 관련된 정보이고, 예를 들어, WiFi 속성, BLE(Bluetooth Low Energy) 속성 등을 나타낼 수 있다. 이러한 QR 코드는 스마트 안경(110)을 통하여 스캔될 수 있다. QR 코드에 기초하여 작업 장치(120)가 식별될 수 있고, 식별된 작업 장치(120)에 대응되는 AR 이미지가 표시될 수 있다.The working device 120 may include a communication device for exchanging information with the smart glasses 110, the management server 130, or the terminal 140. However, the present invention is not limited thereto, and the communication device may exist separately in a space in which the work device 120 is provided, and the work device 120 may exchange information with other components using the communication device. For example, the smart glasses 110 may be connected to the network 150 using a communication device and may communicate with the management server 130 or the terminal 140. A QR code including communication attribute information of the communication device may be inserted into the working device 120. The communication attribute information is information related to the connection between the communication device and the network 150 and data transmission/reception, and may indicate, for example, a WiFi attribute, a Bluetooth Low Energy (BLE) attribute, and the like. Such a QR code may be scanned through the smart glasses 110. The working device 120 may be identified based on the QR code, and an AR image corresponding to the identified working device 120 may be displayed.

관리 서버(130)는 스마트 안경(110)에 제공되는 정보, 이러한 정보를 생성하기 위한 정보 등을 관리하고 저장할 수 있다. 관리 서버(130)는 스마트 안경(110)이 표시하는 AR 이미지 정보를 관리 및 저장할 수 있다. 관리 서버(130)는 사전에 작업 장치(120)를 촬영한 타겟 이미지에 식별 정보(ID)를 부여하여 관리할 수 있다. 관리 서버(130)는 작업 장치(120)에 대응되는 통신 속성 정보에 대한 ID (통신 ID)를 부여하여 관리할 수 있다. 관리 서버(130)는 통신 ID, 통신 속성 정보, 및 AR 이미지 등을 스마트 안경(110)의 요청에 따라 용이하게 추출할 수 있도록 트리 구조 또는 리스트 형태 등으로 체계화할 수 있다. 관리 서버(130)는 타겟 이미지에 대응되는 AR 이미지를 생성하고, AR 이미지 중 메뉴 정보에 대응되는 ID (AR 메뉴 ID)를 부여하여 관리할 수 있다. 관리 서버(130)는 메뉴 ID 및 AR 이미지 등을 체계화할 수 있다.The management server 130 may manage and store information provided to the smart glasses 110 and information for generating such information. The management server 130 may manage and store AR image information displayed by the smart glasses 110. The management server 130 may manage by assigning identification information (ID) to a target image photographed by the working device 120 in advance. The management server 130 may manage by assigning an ID (communication ID) for communication attribute information corresponding to the working device 120. The management server 130 may organize the communication ID, communication attribute information, and AR image into a tree structure or a list form so as to be easily extracted according to the request of the smart glasses 110. The management server 130 may generate an AR image corresponding to the target image, and manage by assigning an ID (AR menu ID) corresponding to menu information among the AR images. The management server 130 may organize menu IDs and AR images.

관리 서버(130)는 스마트 안경(110)의 요청에 따라 AR 이미지를 스마트 안경(110)에 제공할 수 있다. 관리 서버(130)는 스마트 안경(110)으로부터 센싱된 작업자의 동공 위치 및 자세 정보 등을 분석하고, AR 이미지가 스마트 안경(110)에 표시될 영역을 계산할 수 있다. 관리 서버(130)는 계산된 표시 영역에 AR 이미지를 표시할 수 있도록, AR 이미지를 스마트 안경(110)에 제공할 수 있다.The management server 130 may provide the AR image to the smart glasses 110 at the request of the smart glasses 110. The management server 130 may analyze the pupil location and posture information of the worker sensed from the smart glasses 110, and calculate an area in which the AR image will be displayed on the smart glasses 110. The management server 130 may provide the AR image to the smart glasses 110 so that the AR image can be displayed in the calculated display area.

단말기(140)는 네트워크(150)를 통하여 스마트 안경(110)과 통신할 수 있다. 스마트 안경(110)의 요청에 따라, 단말기(140)는 작업자의 작업 수행에 대한 지시를 위한 음성 정보 또는 시각 정보를 스마트 안경(110)으로 전송할 수 있다. 단말기(140)는 스마트폰, 데스크탑, 랩탑, 웨어러블 장치 등 스마트 안경(110) 또는 관리 서버(130)와 정보를 교환할 수 있는 다양한 전자 장치 중 하나일 수 있다. 일례로, 단말기(140)는 스마트 안경(110)을 착용한 작업자와 통화를 수행할 수 있도록 구성될 수 있다.The terminal 140 may communicate with the smart glasses 110 through the network 150. In response to the request of the smart glasses 110, the terminal 140 may transmit voice information or visual information for instructing the operator to perform a task to the smart glasses 110. The terminal 140 may be one of various electronic devices capable of exchanging information with the smart glasses 110 or the management server 130 such as a smart phone, a desktop, a laptop, a wearable device, etc. For example, the terminal 140 may be configured to perform a call with a worker wearing the smart glasses 110.

네트워크(150)는 스마트 안경(110), 작업 장치(120), 관리 서버(130), 및 단말기(140) 사이의 데이터 통신이 수행되도록 구성될 수 있다. 스마트 안경(110), 작업 장치(120), 관리 서버(130), 및 단말기(140)는 네트워크(150)를 통하여 유선 또는 무선으로 데이터를 주고 받을 수 있다.The network 150 may be configured to perform data communication between the smart glasses 110, the work device 120, the management server 130, and the terminal 140. The smart glasses 110, the work device 120, the management server 130, and the terminal 140 may send and receive data wired or wirelessly through the network 150.

도 2는 도 1의 스마트 안경의 예시적인 블록도이다. 도 2의 블록도는 AR 이미지를 표시하여, 작업자의 작업 수행을 제어하기 위한 예시적인 구성으로 이해될 것이고, 스마트 안경(110)의 구조가 이에 제한되지 않을 것이다. 도 2를 참조하면, 스마트 안경(110)은 통신 모듈(111), 프로세서(112), 관성 측정 장치(Inertial Measurement Unit; IMU)(113), 시운동 센서(114), 카메라(115), 디스플레이(116), 스피커(117), 마이크로폰(118), 메모리(119), 및 버스(BUS)를 포함할 수 있다.2 is an exemplary block diagram of the smart glasses of FIG. 1. The block diagram of FIG. 2 will be understood as an exemplary configuration for controlling an operator's task performance by displaying an AR image, and the structure of the smart glasses 110 will not be limited thereto. Referring to FIG. 2, the smart glasses 110 include a communication module 111, a processor 112, an inertial measurement unit (IMU) 113, a visual motion sensor 114, a camera 115, and a display. 116), a speaker 117, a microphone 118, a memory 119, and a bus BUS.

통신 모듈(111)은 도 1의 네트워크(150)를 통하여 작업 장치(120), 관리 서버(130), 및 단말기(140)와 유선 또는 무선 통신을 수행하도록 구성된다. 통신 모듈(111)은 트랜시버를 포함할 수 있다. 예를 들어, 통신 모듈(111)은 관리 서버(130)로부터 AR 이미지를 수신할 수 있다. 통신 모듈(111)은 스마트 안경(110)의 각 구성들로부터 생성된 정보를 작업 장치(120), 관리 서버(130), 및 단말기(140) 등으로 송신할 수 있다.The communication module 111 is configured to perform wired or wireless communication with the working device 120, the management server 130, and the terminal 140 through the network 150 of FIG. 1. The communication module 111 may include a transceiver. For example, the communication module 111 may receive an AR image from the management server 130. The communication module 111 may transmit information generated from each of the components of the smart glasses 110 to the working device 120, the management server 130, and the terminal 140.

프로세서(112)는 스마트 안경(110)의 중앙 처리 장치로의 기능을 수행할 수 있다. 프로세서(112)는 AR 이미지를 표시하거나, 작업자의 음성을 인식하기 위하여 요구되는 제어 동작 및 연산 동작을 수행할 수 있다. 예를 들어, 프로세서(112)의 제어에 따라, 카메라(115)는 작업 장치(120)에 대응되는 작업 이미지를 촬영할 수 있다. 프로세서(112)의 제어에 따라, 통신 모듈(111)은 AR 이미지를 수신할 수 있고, 디스플레이(116)는 AR 이미지를 표시할 수 있다. 프로세서(112)의 제어에 따라, 마이크로폰(118)은 음성을 수신할 수 있다. 프로세서(112)는 수신된 음성의 의미를 인식하여 스마트 안경(110)의 다음 동작을 제어할 수 있다. 프로세서(112)는 메모리(119)의 연산 공간을 활용하여 동작할 수 있고, 다양한 어플리케이션들을 실행할 수 있다.The processor 112 may function as a central processing unit of the smart glasses 110. The processor 112 may display an AR image or perform a control operation and a calculation operation required to recognize a worker's voice. For example, under the control of the processor 112, the camera 115 may capture a work image corresponding to the work device 120. Under the control of the processor 112, the communication module 111 may receive an AR image, and the display 116 may display the AR image. Under the control of the processor 112, the microphone 118 may receive voice. The processor 112 may control the next operation of the smart glasses 110 by recognizing the meaning of the received voice. The processor 112 can operate by utilizing the computational space of the memory 119 and can execute various applications.

IMU(113)는 작업자의 자세 및 움직임에 대응되는 스마트 안경(110)의 속도, 방향, 중력, 및 가속도 등을 측정할 수 있다. 일례로, IMU(113)는 가속도계, 각속도계, 지자기계, 고도계, 및 자이로 센서 등을 포함할 수 있다. 일례로, IMU(113)는 측정된 센싱 정보를 포함하는 자세 정보가 생성될 수 있다. 자세 정보는 작업자 또는 스마트 안경(110)의 위치 및 방향 등을 추정하는데 사용될 수 있다. 그리고, 위치 및 방향의 추정 결과는 디스플레이(116)에서 AR 이미지가 표시될 표시 영역을 계산하는데 사용될 수 있다.The IMU 113 may measure the speed, direction, gravity, and acceleration of the smart glasses 110 corresponding to the posture and movement of the worker. As an example, the IMU 113 may include an accelerometer, an angular velocity meter, a geomagnetic machine, an altimeter, and a gyro sensor. For example, the IMU 113 may generate attitude information including measured sensing information. The posture information may be used to estimate the position and direction of the worker or smart glasses 110. Further, the estimation result of the position and direction may be used to calculate a display area in which the AR image will be displayed on the display 116.

시운동 센서(114)는 작업자의 동공의 움직임을 감지할 수 있다. 일례로, 시운동 센서(114)는 작업자와 마주하게 배치되어 동공 이미지를 검출하는 카메라를 포함할 수 있다. 시운동 센서(114)는 동공 이미지를 통하여, 동공의 움직임 및 위치를 검출할 수 있다. 검출된 동공 이미지에 기초하여, 동공의 중심 위치 값 (동공 위치 정보)이 계산될 수 있다. 동공의 중심 위치 값은 AR 이미지가 표시될 표시 영역을 계산하고, AR 이미지와 작업 이미지의 배치 관계 및 초점 등을 계산하는데 사용될 수 있다.The visual motion sensor 114 may detect the movement of the pupil of the worker. As an example, the visual motion sensor 114 may include a camera that is disposed to face a worker and detects a pupil image. The visual motion sensor 114 may detect the movement and position of the pupil through the pupil image. Based on the detected pupil image, a center position value (pupil position information) of the pupil may be calculated. The center position value of the pupil may be used to calculate a display area in which an AR image is to be displayed, and to calculate an arrangement relationship and focus between the AR image and the work image.

카메라(115)는 작업자가 스마트 안경(110)을 통하여 주시하는 이미지를 검출할 수 있다. 작업자가 도 1의 작업 장치(120)를 주시할 때, 카메라(115)는 작업 장치(120)에 대응되는 작업 이미지를 검출할 수 있다. 작업 이미지는 관리 서버(130)에 전송될 수 있다. 작업 이미지가 사전에 저장된 타겟 이미지와 유사한 경우, 관리 서버(130)는 타겟 이미지에 대응되는 AR 이미지를 스마트 안경(110)으로 송신할 수 있다. 카메라(115)는 상술된 QR 코드를 식별하는데 사용될 수도 있다.The camera 115 may detect an image that the worker gazes through the smart glasses 110. When the worker looks at the work device 120 of FIG. 1, the camera 115 may detect a work image corresponding to the work device 120. The working image may be transmitted to the management server 130. When the working image is similar to the previously stored target image, the management server 130 may transmit an AR image corresponding to the target image to the smart glasses 110. Camera 115 may also be used to identify the QR code described above.

디스플레이(116)는 스마트 안경(110)의 글라스에 포함되고, AR 이미지를 표시할 수 있다. 관리 서버(130)는 자세 정보 및 동공의 중심 위치값에 기초하여, AR 이미지의 크기, 형상, 및 표시 영역을 계산할 수 있고, 이러한 계산에 따라 결정된 AR 이미지를 스마트 안경(110)으로 송신할 수 있다. 디스플레이(116)는 작업자가 주시하는 작업 장치(120)와 중첩되지 않고, 시야에 방해를 받지 않는 범위의 크기를 갖는 AR 이미지를 렌더링할 수 있다.The display 116 is included in the glass of the smart glasses 110 and may display an AR image. The management server 130 may calculate the size, shape, and display area of the AR image based on the posture information and the center position value of the pupil, and transmit the AR image determined according to this calculation to the smart glasses 110. have. The display 116 may render an AR image having a size in a range that does not overlap with the work device 120 that the operator is looking at and does not interfere with the field of view.

스피커(117)는 작업자에 청각 정보를 제공할 수 있다. 예를 들어, 작업자는 작업 수행을 위하여 도 1의 단말기(140)의 사용자와 통화를 수 있으며, 스피커(117)는 단말기(140)의 사용자의 음성을 출력하는데 사용될 수 있다. 이외에도, 스피커(117)는 작업자의 작업 수행을 위한 다양한 제어 정보를 소리로 출력할 수 있다.The speaker 117 may provide auditory information to an operator. For example, the operator may make a call with the user of the terminal 140 of FIG. 1 to perform a task, and the speaker 117 may be used to output the user's voice of the terminal 140. In addition, the speaker 117 may output various control information for performing a task by a worker as sound.

마이크로폰(118)은 작업자의 음성을 수신하고, 전기 신호로 변환할 수 있다. 핸즈프리 스마트 안경(110)을 구현하기 위하여, 스마트 안경(110)은 작업자의 음성 인식을 통하여 제어될 수 있다. 마이크로폰(118)으로부터 수신된 음성 정보는 스마트 안경(110)의 온/오프, 메뉴 정보의 표시, 스마트 안경(110)과 단말기(140)의 통신 등을 위하여 사용될 수 있다. 일례로, 음성 정보는 AR 이미지를 변경하거나, 통신 대상 및 통신 정보를 결정할 수 있다. 또한, 마이크로폰(118)은 단말기(140)의 사용자와의 통화에도 사용될 수 있다. The microphone 118 may receive an operator's voice and convert it into an electrical signal. In order to implement the hands-free smart glasses 110, the smart glasses 110 may be controlled through voice recognition of an operator. The voice information received from the microphone 118 may be used for on/off of the smart glasses 110, display of menu information, communication between the smart glasses 110 and the terminal 140, and the like. For example, the voice information may change an AR image or determine a communication target and communication information. In addition, the microphone 118 may be used for a call with a user of the terminal 140.

메모리(119)는 프로세서(112)에 의하여 처리되거나 처리될 예정인 데이터 및 프로세스 코드들을 저장할 수 있다. 예를 들어, 메모리(119)는 AR 이미지, 자세 정보, 동공 위치 중심값, 작업 이미지, 음성 정보, 음성 인식을 위한 정보를 저장할 수 있다. 메모리(119)는 프로세서(112)의 연산을 위한 공간을 제공할 수 있고, 메모리(119)에 로딩된 펌웨어 등은 프로세서(112)에 의하여 실행될 수 있다.The memory 119 may store data and process codes processed or scheduled to be processed by the processor 112. For example, the memory 119 may store AR image, posture information, pupil position center value, work image, voice information, and information for voice recognition. The memory 119 may provide a space for calculation of the processor 112, and firmware loaded in the memory 119 may be executed by the processor 112.

버스(BUS)는 스마트 안경(110)의 구성 요소들 사이의 통신 경로를 제공할 수 있다. 통신 모듈(111), 프로세서(112), IMU(113), 시운동 센서(114), 카메라(115), 디스플레이(116), 스피커(117), 마이크로폰(118), 및 메모리(119)는 버스(BUS)를 통해 서로 데이터를 교환할 수 있다. 버스(BUS)는 스마트 안경(110)에서 이용되는 다양한 유형의 통신 포맷을 지원하도록 구성될 수 있다.The bus BUS may provide a communication path between components of the smart glasses 110. The communication module 111, the processor 112, the IMU 113, the visual motion sensor 114, the camera 115, the display 116, the speaker 117, the microphone 118, and the memory 119 are a bus ( BUS) can exchange data with each other. The bus BUS may be configured to support various types of communication formats used in the smart glasses 110.

도 3은 도 1의 스마트 안경의 동작을 설명하기 위한 예시적인 도면이다. 도 3을 참조하면, 스마트 안경 시스템(200)은 스마트 안경(210) 및 작업 장치(220)를 포함한다. 스마트 안경(210) 및 작업 장치(220)는 각각 도 1의 스마트 안경(110) 및 작업 장치(120)에 대응된다. 도 3에 도시된 스마트 안경(210) 및 작업 장치(220)의 형상은 예시적인 것으로, 도 3에 제한되지 않는다.3 is an exemplary diagram for explaining the operation of the smart glasses of FIG. 1. Referring to FIG. 3, the smart glasses system 200 includes smart glasses 210 and a working device 220. The smart glasses 210 and the working device 220 correspond to the smart glasses 110 and the working device 120 of FIG. 1, respectively. The shapes of the smart glasses 210 and the working device 220 shown in FIG. 3 are exemplary, and are not limited to FIG. 3.

작업자가 스마트 안경(210)을 착용하고 작업 장치(220)를 주시하는 경우, 스마트 안경(210)에 포함된 카메라는 작업 장치(220)에 대응되는 작업 이미지(WI)를 획득할 수 있다. 작업 이미지(WI)는 도 1의 관리 서버(130)로 전송될 수 있고, 관리 서버(130)는 사전에 저장된 타겟 이미지와 작업 이미지(WI)의 유사성을 판단할 수 있다. 유사성이 기준 유사도보다 큰 경우, 관리 서버(130)는 AR 이미지를 스마트 안경(210)에 제공할 수 있다. 기준 유사도는 AR 이미지의 증강이 가능할 정도로 작업 장치(120)가 작업 이미지(WI)에 나타나는지 결정하는 기준 값으로 이해될 것이다. 관리 서버(130)는 스마트 안경(210)에 구비된 IMU로부터 검출된 자세 정보 및 시운동 센서로부터 검출된 동공 위치에 기초하여 AR 이미지를 작업 이미지(WI)에 정합할 수 있다.When the worker wears the smart glasses 210 and looks at the work device 220, the camera included in the smart glasses 210 may acquire a work image WI corresponding to the work device 220. The work image WI may be transmitted to the management server 130 of FIG. 1, and the management server 130 may determine similarity between the previously stored target image and the work image WI. When the similarity is greater than the reference similarity, the management server 130 may provide the AR image to the smart glasses 210. The reference similarity will be understood as a reference value for determining whether the work device 120 appears on the work image WI to the extent that the AR image can be augmented. The management server 130 may match the AR image with the work image WI based on the posture information detected from the IMU provided in the smart glasses 210 and the pupil position detected from the visual motion sensor.

스마트 안경(210)은 글라스에 구비된 디스플레이를 통하여, 관리 서버(130)로부터 수신된 AR 이미지를 표시할 수 있다. 일례로, AR 이미지는 작업 장치(220)에 대한 식별 정보(ID), 콘텐츠 정보(AA), 및 메뉴 정보(MI)를 포함할 수 있다. 콘텐츠 정보(AA)는 작업 장치(220)에 대한 설명, 공정 순서, 또는 작업 내용과 관련된 정보를 포함할 수 있다. 작업자는 콘텐츠 정보(AA)를 통하여, 작업 수행의 편의를 제공받을 수 있다. 메뉴 정보(MI)는 작업자가 스마트 안경(210)의 동작 모드를 선택하기 위한 리스트 정보를 포함할 수 있다. 도 3에 도시된 AR 이미지의 형상은 예시적인 것으로, 도 3에 제한되지 않는다.The smart glasses 210 may display the AR image received from the management server 130 through a display provided in the glass. For example, the AR image may include identification information (ID), content information (AA), and menu information (MI) for the working device 220. The content information AA may include a description of the work device 220, a process sequence, or information related to work content. The worker may be provided with convenience of performing a task through the content information AA. The menu information MI may include list information for an operator to select an operation mode of the smart glasses 210. The shape of the AR image shown in FIG. 3 is exemplary, and is not limited to FIG. 3.

도 4는 도 1의 스마트 안경 시스템의 동작을 위하여 요구되는 정보의 관리 방법에 대한 순서도이다. 정보의 관리 방법은 도 1의 스마트 안경 시스템(100)에 의하여 수행될 수 있다. 설명의 편의상 도 1의 도면 부호를 참조하여, 도 4가 설명된다.4 is a flowchart illustrating a method of managing information required for the operation of the smart glasses system of FIG. 1. The information management method may be performed by the smart glasses system 100 of FIG. 1. For convenience of explanation, FIG. 4 will be described with reference to the reference numerals of FIG. 1.

S110 단계에서, 작업 장치(120)에 대응되는 타겟 이미지가 추출되고 관리 서버(130)에 타겟 이미지가 제공될 수 있다. 타겟 이미지는 카메라 등을 이용하여, 작업 장치(120) 또는 작업 장치(120)에 포함된 통신 장치를 촬영하여 획득될 수 있다. 타겟 이미지는 AR 이미지를 증강하기 위하여 획득될 수 있다.In step S110, a target image corresponding to the working device 120 may be extracted and the target image may be provided to the management server 130. The target image may be obtained by photographing the working device 120 or a communication device included in the working device 120 using a camera or the like. The target image may be obtained to augment the AR image.

S120 단계에서, 작업 장치(120)에 포함된 통신 장치의 통신 속성 정보가 생성될 수 있다. 통신 속성 정보는 통신 장치가 네트워크(150)에 접속 연결되고 데이터의 송수신을 가능케 하는 통신 종류와 같은 정보를 포함할 수 있다. 예를 들어, 통신 속성 정보는 WIFI 속성 정보 또는 BLE 속성 정보 등을 포함할 수 있다. 일례로, 통신 속성 정보는 통신 장치에서 분석되어 추출될 수 있다. 통신 속성 정보는 관리 서버(130)로 제공될 수 있다.In step S120, communication attribute information of the communication device included in the working device 120 may be generated. The communication attribute information may include information such as a communication type that enables a communication device to be connected to the network 150 and transmit/receive data. For example, the communication attribute information may include WIFI attribute information or BLE attribute information. For example, the communication attribute information may be analyzed and extracted by the communication device. Communication attribute information may be provided to the management server 130.

S125 단계에서, 관리 서버(130)는 S110 단계에서 추출된 타겟 이미지에 대응되는 AR 이미지를 생성할 수 있다. 도 3에서 설명한 바와 같이, AR 이미지는 작업 내용, 공정 내용 등을 포함하는 콘텐츠 정보, 작업 장치(120)의 식별 정보, 메뉴 정보 등을 포함할 수 있다. 이외에도, 관리 서버(130)는 3D 이미지 모델, 동영상, 대화형 이벤트 등 다양한 부가 정보를 포함하는 AR 이미지를 생성할 수 있다. 관리 서버(130)는 타겟 이미지에서 작업 장치(120)의 위치 및 크기 등을 고려하여, AR 이미지의 표시 영역을 결정할 수 있다. 생성된 AR 이미지는 관리 서버(130)에 저장될 수 있다. In step S125, the management server 130 may generate an AR image corresponding to the target image extracted in step S110. As described in FIG. 3, the AR image may include content information including work content, process content, etc., identification information of the work device 120, menu information, and the like. In addition, the management server 130 may generate an AR image including various additional information such as a 3D image model, a video, and an interactive event. The management server 130 may determine the display area of the AR image in consideration of the location and size of the working device 120 in the target image. The generated AR image may be stored in the management server 130.

이전에 생성된 AR 이미지가 관리 서버(130)에 존재하는 경우, 관리 서버(130)는 AR 이미지의 갱신 여부를 판단할 수 있다. 예를 들어, 작업 장치(120)의 배치 구조가 변경되는 경우, AR 이미지의 배치도 변경이 요구된다. 따라서, 관리 서버(130)는 지속적으로 타겟 이미지를 수신하고, 타겟 이미지에 기초하여 AR 이미지의 변경 여부를 판단할 수 있다.When the previously generated AR image exists in the management server 130, the management server 130 may determine whether to update the AR image. For example, when the arrangement structure of the working device 120 is changed, the arrangement of the AR image is also required to be changed. Accordingly, the management server 130 may continuously receive the target image and determine whether to change the AR image based on the target image.

S130 단계에서, 관리 서버(130)는 타겟 이미지의 ID를 생성할 수 있다. 작업 장치(120)는 촬영 방향 또는 작업 순서에 따라 다른 형상의 복수의 타겟 이미지들이 제공될 수 있다. 또한, 작업 장치(120)가 복수로 제공될 수 있다. 관리 서버(130)는 타겟 이미지들 각각에 작업 ID를 생성하고, 생성된 작업 ID들과 통신 속성 정보를 그룹화할 수 있다.In step S130, the management server 130 may generate the ID of the target image. The working device 120 may provide a plurality of target images having different shapes according to a photographing direction or a working order. In addition, a plurality of working devices 120 may be provided. The management server 130 may generate job IDs for each of the target images, and group the generated job IDs and communication attribute information.

S140 단계에서, 관리 서버(130)는 통신 ID를 생성할 수 있다. 통신 ID는 작업 장치(120)에 포함된 통신 장치에 대응된다. 또한, S145 단계에서, 관리 서버(130)는 AR 이미지의 메뉴 정보에 대응되는 AR 메뉴 ID를 생성할 수 있다. 생성된 통신 ID 및 AR 메뉴 ID는 관리 서버(130)에 등록될 수 있다.In step S140, the management server 130 may generate a communication ID. The communication ID corresponds to the communication device included in the working device 120. In addition, in step S145, the management server 130 may generate an AR menu ID corresponding to the menu information of the AR image. The generated communication ID and AR menu ID may be registered in the management server 130.

S150 단계에서, 관리 서버(130)는 통신 ID, 통신 속성 정보, 및 AR 이미지를 체계화할 수 있다. 관리 서버(130)는 통신 장치의 통신 ID와 통신 속성 정보를 AR 이미지에 매칭시키고, 정렬시킬 수 있다. 관리 서버(130)는 통신 ID, 통신 속성 정보, 및 AR 이미지가 스마트 안경(110)의 요청 시에 용이하게 추출될 수 있도록 해당 정보를 체계화된 구조로 관리할 수 있다. 예를 들어, 관리 서버(130)는 트리 구조 또는 리스트 형태 등으로 통신 ID, 통신 속성 정보, 및 AR 이미지를 체계화할 수 있다.In step S150, the management server 130 may organize communication ID, communication attribute information, and AR image. The management server 130 may match and align the communication ID and communication attribute information of the communication device with the AR image. The management server 130 may manage the corresponding information in a structured structure so that communication ID, communication attribute information, and AR image can be easily extracted upon request of the smart glasses 110. For example, the management server 130 may organize communication ID, communication attribute information, and AR image in a tree structure or list form.

S155 단계에서, 관리 서버(130)는 AR 메뉴 ID와 AR 이미지를 체계화할 수 있다. 관리 서버(130)는 AR 메뉴 ID를 AR 이미지에 매칭시키고 정렬시킬 수 있다. 관리 서버(130)는 스마트 안경(110)의 요청 시에 용이하게 추출될 수 있도록 AR 메뉴 ID와 AR 이미지를 체계화된 구조로 관리할 수 있다.In step S155, the management server 130 may organize the AR menu ID and the AR image. The management server 130 may match and arrange the AR menu ID with the AR image. The management server 130 may manage the AR menu ID and the AR image in a structured structure so that they can be easily extracted upon request of the smart glasses 110.

S160 단계에서, 관리 서버(130)는 AR 이미지를 데이터베이스화할 수 있다. 관리 서버(130)는 작업 장치(120)의 종류, 작업 순서, 또는 타겟 이미지 별로 AR 이미지를 데이터베이스에 관리 및 저장할 수 있다. 관리 서버(130)는 타겟 이미지, 타겟 이미지의 ID, AR 이미지의 내용 정보, 표시 영역 등을 저장하고, 이를 효율적으로 추출하기 위한 색인, 분류, 저장, 검색, 매칭, 갱신 등의 관리를 수행할 수 있다. AR 이미지는 관리 서버(130)에 의하여 압축 저장될 수 있고, 암호화될 수 있다.In step S160, the management server 130 may convert the AR image into a database. The management server 130 may manage and store AR images in a database for each type of work device 120, work order, or target image. The management server 130 stores the target image, the ID of the target image, the content information of the AR image, the display area, etc., and performs management such as indexing, classification, storage, search, matching, and update for efficient extraction. I can. The AR image may be compressed and stored by the management server 130 and may be encrypted.

S170 단계에서, 관리 서버(130)는 통신 ID 및 통신 속성 정보를 포함하는 QR 코드를 생성할 수 있다. 생성된 QR 코드는 작업 장치(120)에 삽입될 수 있다. QR 코드는 스마트 안경(110)으로 스캔될 수 있다. 스마트 안경(110)은 QR 코드에 기초하여 AR 이미지를 관리 서버(130)로부터 수신할 수 있다.In step S170, the management server 130 may generate a QR code including the communication ID and communication attribute information. The generated QR code may be inserted into the working device 120. The QR code may be scanned with the smart glasses 110. The smart glasses 110 may receive an AR image from the management server 130 based on the QR code.

도 5는 도 1의 스마트 안경 시스템의 동작 방법에 대한 순서도이다. 해당 동작 방법은 도 1의 스마트 안경 시스템(100)에 의하여 수행될 수 있다. 설명의 편의상 도 1의 도면 부호를 참조하여, 도 5가 설명된다.5 is a flowchart of a method of operating the smart glasses system of FIG. 1. This operation method may be performed by the smart glasses system 100 of FIG. 1. For convenience of explanation, FIG. 5 is described with reference to the reference numerals of FIG. 1.

S210 단계에서, 스마트 안경 시스템(100)은 작업 이미지에 대응되는 AR 이미지를 추출할 수 있다. 작업자는 스마트 안경(110)을 착용하고, 작업 장치(120)가 구비된 작업장에 입실할 수 있다. 작업자는 스마트 안경(110)을 통하여 작업 장치(120)를 주시할 수 있고, 스마트 안경(110)의 카메라는 작업 장치(120)에 대응되는 작업 이미지를 획득할 수 있다. 스마트 안경(110)의 시운동 센서는 작업자의 동공 이미지를 검출할 수 있다. 동공이 기준 시간보다 오래 고정된 경우, 작업 타겟이 포커싱되고 관리 서버(130)에 제공될 작업 이미지가 촬영될 수 있다. 관리 서버(130)는 도 4의 방법으로부터 획득된 타겟 이미지와 작업 이미지의 유사도를 판단할 수 있다. 이러한 유사도에 기초하여 관리 서버(130)는 작업 이미지와 유사한 타겟 이미지를 추출하고, 타겟 이미지에 대응되는 AR 이미지를 선택할 수 있다.In step S210, the smart glasses system 100 may extract an AR image corresponding to the work image. The worker wears the smart glasses 110 and may enter the workplace equipped with the work device 120. The worker may look at the working device 120 through the smart glasses 110, and the camera of the smart glasses 110 may acquire a work image corresponding to the working device 120. The visual motion sensor of the smart glasses 110 may detect the pupil image of the worker. When the pupil is fixed longer than the reference time, the work target is focused and a work image to be provided to the management server 130 may be photographed. The management server 130 may determine a similarity between the target image and the work image obtained from the method of FIG. 4. Based on this similarity, the management server 130 may extract a target image similar to the working image and select an AR image corresponding to the target image.

S230 단계에서, 스마트 안경(110)은 AR 이미지를 디스플레이를 통하여 표시할 수 있다. 스마트 안경(110)의 IMU는 자세 정보를 검출하고, 관리 서버(130)는 자세 정보 및 동공 위치에 기초하여 S210 단계로부터 추출된 AR 이미지를 작업 이미지에 정합할 수 있다. 자세 정보 및 동공 위치에 기초하여 AR 이미지의 표시 영역이 결정될 수 있다. AR 이미지는 스마트 안경(110)에 제공되고, 스마트 안경(110)의 디스플레이는 계산된 표시 영역에 AR 이미지를 렌더링할 수 있다. AR 이미지는 식별 정보, 콘텐츠 정보, 및 메뉴 정보를 포함할 수 있다. 작업자는 콘텐츠 정보에 기초하여 작업 수행 순서 등을 파악할 수 있고, 메뉴 정보에 기초하여 스마트 안경(110)의 동작 모드를 선택할 수 있다.In step S230, the smart glasses 110 may display the AR image through the display. The IMU of the smart glasses 110 detects the posture information, and the management server 130 may match the AR image extracted from step S210 with the work image based on the posture information and the pupil position. The display area of the AR image may be determined based on the posture information and the pupil position. The AR image is provided to the smart glasses 110, and the display of the smart glasses 110 may render the AR image on the calculated display area. The AR image may include identification information, content information, and menu information. The operator may grasp the order of performing tasks based on the content information, and may select an operation mode of the smart glasses 110 based on the menu information.

S250 단계에서, 스마트 안경(110)은 음성 인식 기반의 작업을 수행할 수 있다. 작업자는 AR 이미지에 기초하여 음성으로 스마트 안경(110)의 동작 모드를 선택할 수 있다. 스마트 안경(110)은 작업자의 음성 명령어를 인식하고, 음성 명령어에 기초하여 스마트 안경(110)의 온/오프, 메뉴 정보와 같은 AR 이미지의 표시 및 변경, 스마트 안경(110)과 단말기(140)의 통신 등의 동작을 수행할 수 있다. 스마트 안경(110)은 음성 명령어에 기초하여 통신 대상 (일례로, 통신을 수행할 단말기(140)의 종류) 및 통신 정보 (일례로, 송신되는 데이터 또는 메시지)를 결정할 수 있다.In step S250, the smart glasses 110 may perform a voice recognition-based operation. The operator may select an operation mode of the smart glasses 110 by voice based on the AR image. The smart glasses 110 recognize a voice command of a worker, turn on/off of the smart glasses 110, display and change AR images such as menu information, smart glasses 110 and terminal 140 based on the voice command. It is possible to perform operations such as communication. The smart glasses 110 may determine a communication target (eg, the type of the terminal 140 to perform communication) and communication information (eg, transmitted data or message) based on a voice command.

S270 단계에서, 스마트 안경(110)은 음성 명령어에 기초하여 단말기(140)와의 통신 여부를 결정할 수 있다. 스마트 안경(110)은 작업 수행을 위하여 단말기(140)의 사용자와 작업 공정과 관련된 지시 또는 문의 사항 등에 대하여 의견을 교환할 수 있다. 예를 들어, 스마트 안경(110)이 "전화 통화"의 음성 명령어를 인식한 경우, S290 단계에서, 작업자는 단말기(140)의 사용자와 통화를 수행할 수 있다. 예를 들어, 스마트 안경(110)이 "미러링"의 음성 명령어를 인식한 경우, S290 단계에서, 스마트 안경(110)은 작업 이미지에 대응되는 미러링 정보를 단말기(140)에 송신할 수 있다. 이외에도, 스마트 안경(110)은 인식된 음성에 대응되는 텍스트 메시지를 단말기(140)에 송신할 수 있다. 스마트 안경 시스템(100)을 통하여, 작업자는 동료 또는 전문가에게 작업 지시 및 정보를 제공받을 수 있고, 의견 교환에 따라 작업을 수행할 수 있다. 스마트 안경(110)은 작업 결과를 관리 서버(130) 또는 단말기(140)로 전송할 수 있다.In step S270, the smart glasses 110 may determine whether to communicate with the terminal 140 based on a voice command. The smart glasses 110 may exchange opinions with the user of the terminal 140 on instructions or inquiries related to a work process in order to perform a task. For example, when the smart glasses 110 recognizes a voice command of "phone call", in step S290, the operator may make a call with the user of the terminal 140. For example, when the smart glasses 110 recognize a voice command of "mirroring", in step S290, the smart glasses 110 may transmit mirroring information corresponding to the work image to the terminal 140. In addition, the smart glasses 110 may transmit a text message corresponding to the recognized voice to the terminal 140. Through the smart glasses system 100, a worker may receive work instructions and information from a colleague or an expert, and may perform work according to exchange of opinions. The smart glasses 110 may transmit the work result to the management server 130 or the terminal 140.

도 6은 도 5의 S210 단계를 구체화한 순서도이다. 도 6의 순서도는 작업 이미지에 대응되는 AR 이미지를 추출하는 예시적인 방법 단계로 이해될 것이고, S210 단계가 도 6에 의하여 제한되지 않을 것이다. 설명의 편의상, 도 1의 도면 부호를 참조하여, 도 6이 설명된다.6 is a flowchart illustrating step S210 of FIG. 5. The flowchart of FIG. 6 will be understood as an exemplary method step of extracting an AR image corresponding to a working image, and step S210 will not be limited by FIG. 6. For convenience of explanation, FIG. 6 is described with reference to the reference numerals in FIG. 1.

S211 단계에서, 스마트 안경(110)은 시운동 센서를 통하여 동공 이미지를 검출한다. 스마트 안경(110)은 동공 이미지로부터 동공의 중심 위치값을 추출할 수 있다. 스마트 안경(110)은 동공의 중심 위치값을 기준으로 동공의 움직임을 추적할 수 있다.In step S211, the smart glasses 110 detect the pupil image through the visual motion sensor. The smart glasses 110 may extract the central position value of the pupil from the pupil image. The smart glasses 110 may track the movement of the pupil based on the center position value of the pupil.

S212 단계에서, 동공이 고정된 시간이 기준 시간보다 큰지 판단될 수 있다. 이러한 판단은 관리 서버(130)에서 수행되거나, 스마트 안경(110) 자체에서 수행될 수 있다. 기준 시간은 작업자가 작업 객체에 집중하는 것으로 판단되는 설정된 시간 길이로 이해될 것이다. 동공의 고정 시간이 기준 시간보다 길지 않은 경우, S211 단계로 진행되어 동공 이미지를 계속 검출할 수 있다. 동공의 고정 시간이 기준 시간보다 긴 경우, S213 단계가 진행된다.In step S212, it may be determined whether the time at which the pupil is fixed is greater than the reference time. This determination may be performed by the management server 130 or may be performed by the smart glasses 110 itself. The reference time will be understood as a set length of time at which it is determined that the worker concentrates on the work object. If the fixed time of the pupil is not longer than the reference time, the process proceeds to step S211 and the pupil image may be continuously detected. If the fixed time of the pupil is longer than the reference time, step S213 proceeds.

S213 단계에서, 스마트 안경(110)의 카메라는 작업 타겟을 포커싱할 수 있다. 작업 타겟은 작업 장치(120) 및 작업물 등을 포함할 수 있다. 카메라는 미리 설정된 타겟 이미지에 대응되도록, 줌인 또는 줌 아웃을 통하여 작업 타겟의 초점을 맞출 수 있다. In step S213, the camera of the smart glasses 110 may focus the work target. The work target may include a work device 120 and a work piece. The camera may focus the work target through zooming in or zooming out so as to correspond to a preset target image.

S215 단계에서, 스마트 안경(110)은 작업 장치(120)에 삽입된 QR 코드를 감지할 수 있다. 스마트 안경(110)의 카메라는 QR 코드를 스캔할 수 있다. 상술한 바와 같이, QR 코드는 통신 장치의 통신 ID 및 통신 속성 정보를 포함할 수 있다. S216 단계에서, 스마트 안경(110)은 QR 코드가 스캔 가능한지 판단할 수 있다. QR 코드가 스캔 가능한 경우, QR 코드 분석을 위한 S217 단계가 진행된다. QR 코드가 스캔 가능하지 않은 경우, S218 단계가 진행된다.In step S215, the smart glasses 110 may detect the QR code inserted into the working device 120. The camera of the smart glasses 110 may scan a QR code. As described above, the QR code may include communication ID and communication attribute information of the communication device. In step S216, the smart glasses 110 may determine whether the QR code can be scanned. If the QR code can be scanned, step S217 for analyzing the QR code proceeds. If the QR code is not scannable, step S218 proceeds.

S217 단계에서, QR 코드 정보와 통신 속성 정보 사이의 유사도가 판단될 수 있다. QR 코드의 스캔에 따른 QR 코드 정보는 관리 서버(130)로 제공될 수 있다. 관리 서버(130)는 QR 코드 정보에 포함된 통신 속성 정보와 관리되는 통신 ID별 통신 속성 정보를 비교할 수 있다. QR 코드 정보와 관리되는 통신 속성 정보 사이의 유사도가 기준 유사도보다 큰 경우, S221 단계가 진행되고, AR 이미지가 생성될 수 있다. 여기에서, 기준 유사도는 QR 코드 정보가 관리되는 통신 속성을 갖는 것으로 인정되는 기준 값으로 이해될 것이다. QR 코드 정보와 관리되는 통신 속성 정보 사이의 유사도가 기준 유사도보다 작은 경우, S218 단계가 진행된다. QR 코드를 이용함으로써, 스마트 안경(110)은 작업 장치(120)와 관련된 서비스를 간편하게 제공 받을 수 있다.In step S217, a degree of similarity between the QR code information and the communication attribute information may be determined. QR code information according to the scanning of the QR code may be provided to the management server 130. The management server 130 may compare communication attribute information included in the QR code information with communication attribute information for each managed communication ID. When the similarity between the QR code information and the managed communication attribute information is greater than the reference similarity, step S221 proceeds, and an AR image may be generated. Here, the reference similarity will be understood as a reference value for which QR code information is recognized as having a managed communication attribute. When the similarity between the QR code information and the managed communication attribute information is less than the reference similarity, step S218 proceeds. By using the QR code, the smart glasses 110 can easily receive a service related to the working device 120.

S218 단계에서, 스마트 안경(110)의 카메라는 작업 타겟을 촬영할 수 있다. S213 단계에서 맞춰진 초점을 기준으로, 카메라는 작업 타겟을 촬영할 수 있다. S219 단계에서, 카메라는 촬영에 의한 작업 이미지를 추출할 수 있다. 추출된 작업 이미지는 관리 서버(130)로 송신될 수 있다.In step S218, the camera of the smart glasses 110 may photograph the work target. Based on the focus set in step S213, the camera may photograph the work target. In step S219, the camera may extract a work image by shooting. The extracted work image may be transmitted to the management server 130.

S220 단계에서, 작업 이미지와 타겟 이미지 사이의 유사도가 판단될 수 있다. 관리 서버(130)는 작업 이미지와 사전에 촬영되어 관리되는 작업 장치(120)에 대한 타겟 이미지를 비교할 수 있다. 작업 이미지와 타겟 이미지 사이의 유사도가 기준 유사도보다 큰 경우, S221 단계가 진행된다. 여기에서, 기준 유사도는 AR 이미지의 증강이 가능할 정도로 작업 장치(120)가 작업 이미지에 나타나는지 결정하는 기준 값으로 이해될 것이다. 작업 이미지와 타겟 이미지 사이의 유사도가 기준 유사도보다 작은 경우, S222 단계가 진행된다. S222 단계에서, 스마트 안경(110)은 작업 장치(120)가 검출되지 않았다는 의미의 "미검출"을 표시할 수 있고, S211 내지 S220 단계가 반복될 수 있다.In step S220, a degree of similarity between the work image and the target image may be determined. The management server 130 may compare the work image with the target image for the work device 120 captured and managed in advance. When the similarity between the work image and the target image is greater than the reference similarity, step S221 proceeds. Here, the reference similarity will be understood as a reference value for determining whether the work device 120 appears in the work image to the extent that the AR image can be augmented. If the similarity between the work image and the target image is less than the reference similarity, step S222 proceeds. In step S222, the smart glasses 110 may display "undetected" meaning that the working device 120 has not been detected, and steps S211 to S220 may be repeated.

S221 단계에서, 관리 서버(130)는 타겟 이미지의 ID를 검출할 수 있다. S220 단계로부터, 작업 장치(120)에 대응되는 타겟 이미지의 ID가 추출될 수 있다. 추출된 ID에 기초하여 타겟 이미지에 대응되는 AR 이미지가 추출될 수 있다. AR 이미지는 작업 이미지와 정합되도록 변경되어 스마트 안경(110)에 제공될 수 있다.In step S221, the management server 130 may detect the ID of the target image. From step S220, the ID of the target image corresponding to the working device 120 may be extracted. An AR image corresponding to the target image may be extracted based on the extracted ID. The AR image may be changed to match the working image and provided to the smart glasses 110.

도 7은 도 5의 S230 단계를 구체화한 순서도이다. 도 7의 순서도는 AR 이미지를 표시하는 예시적인 방법 단계로 이해될 것이고, S230 단계가 도 7에 의하여 제한되지 않을 것이다. 설명의 편의상, 도 1의 도면 부호를 참조하여, 도 7이 설명된다.7 is a flowchart illustrating step S230 of FIG. 5. The flowchart of FIG. 7 will be understood as an exemplary method step for displaying an AR image, and step S230 will not be limited by FIG. 7. For convenience of explanation, FIG. 7 is described with reference to the reference numerals in FIG. 1.

S231 단계에서, 스마트 안경(110)은 IMU를 통하여 자세 정보를 생성할 수 있다. IMU는 작업자의 위치, 방향, 및 움직임에 대응되는 스마트 안경(110)의 위치, 방향, 및 움직임을 감지할 수 있다. 자세 정보는 IMU로부터 감지된 측정 값들을 포함할 수 있다.In step S231, the smart glasses 110 may generate posture information through the IMU. The IMU may detect the position, direction, and movement of the smart glasses 110 corresponding to the position, direction, and movement of the worker. The attitude information may include measurement values detected from the IMU.

S232 단계에서, 관리 서버(130)는 자세 정보에 기초하여 작업자 또는 스마트 안경(110)의 위치 정보 및 방향 정보를 계산할 수 있다. 관리 서버(130)는 자세 정보를 분석하여 작업자가 주시하는 시선 방향 및 현재의 위치를 추정할 수 있다.In step S232, the management server 130 may calculate location information and direction information of the worker or smart glasses 110 based on the posture information. The management server 130 may analyze the posture information to estimate a gaze direction and a current position that the worker is watching.

S233 단계에서, 관리 서버(130)는 위치 및 방향 정보에 기초하여 초기 캘리브레이션을 설정할 수 있다. 초기 캘리브레이션은 스마트 안경(110)의 위치 및 방향에 따른 초기 기준 값으로 이해될 것이다. 초기 캘리브레이션은 스마트 안경(110)의 움직임을 추적하기 위한 기준으로 사용될 수 있다.In step S233, the management server 130 may set initial calibration based on the location and direction information. The initial calibration will be understood as an initial reference value according to the position and direction of the smart glasses 110. Initial calibration may be used as a reference for tracking the movement of the smart glasses 110.

S234 단계에서, 작업자의 움직임에 따른 스마트 안경(110)의 자세 변화가 추적될 수 있다. 스마트 안경(110)은 IMU를 통하여 스마트 안경(110)의 자세 정보를 추출할 수 있다. 이러한 자세 정보는 스마트 안경(110)의 움직임이 반영될 수 있다. 관리 서버(130)는 자세 정보에 기초하여 스마트 안경(110)의 변화된 위치 정보 및 방향 정보를 계산할 수 있다. 관리 서버(130)는 위치 및 방향의 변화를 계산함으로써, 스마트 안경(110)의 자세 변화를 추적할 수 있다. 관리 서버(130)는 자세 변화의 추적을 통하여 스마트 안경(110)의 중심 위치 값을 계산할 수 있다. 관리 서버(130)는 초기 캘리브레이션을 기준으로, 변화된 스마트 안경(110)의 중심 위치 좌표를 계산할 수 있다. 스마트 안경(110)의 중심 위치 값은 예를 들어, 디스플레이의 표시 영역의 중심 위치 등과 같이, 특정된 스마트 안경(110)의 위치 좌표 값일 수 있다. In step S234, the posture change of the smart glasses 110 according to the worker's movement may be tracked. The smart glasses 110 may extract posture information of the smart glasses 110 through the IMU. This posture information may reflect the movement of the smart glasses 110. The management server 130 may calculate changed location information and direction information of the smart glasses 110 based on the posture information. The management server 130 may track a change in the posture of the smart glasses 110 by calculating the change in position and direction. The management server 130 may calculate a center position value of the smart glasses 110 through tracking changes in posture. The management server 130 may calculate the coordinates of the center position of the changed smart glasses 110 based on the initial calibration. The center position value of the smart glasses 110 may be a position coordinate value of the specified smart glasses 110, such as, for example, a center position of a display area of the display.

S235 단계에서, 관리 서버(130)는 AR 이미지와 표시 영역을 정합할 수 있다. 이를 위하여, 관리 서버(130)는 S234 단계에서 계산된 스마트 안경(110)의 중심 위치 값과 동공의 중심 위치 값을 동기화할 수 있다. 동공의 중심 위치 값은 도 5의 S210 단계 또는 도 6의 S211 단계 등에서 계산된다. 스마트 안경(110)의 중심 위치 값과 동공의 중심 위치 값을 통하여, 작업자의 주시 방향 및 시야가 추정될 수 있다. 관리 서버(130)는 계산된 작업자의 시야에 기초하여 작업 장치(120)를 가리지 않는 AR 이미지의 크기 및 위치를 계산할 수 있다. 관리 서버(130)는 AR 이미지가 표시되는 영역을 결정할 수 있다.In step S235, the management server 130 may match the AR image and the display area. To this end, the management server 130 may synchronize the central position value of the smart glasses 110 calculated in step S234 with the central position value of the pupil. The center position value of the pupil is calculated in step S210 of FIG. 5 or step S211 of FIG. 6. Through the central position value of the smart glasses 110 and the central position value of the pupil, the gaze direction and field of view of the operator may be estimated. The management server 130 may calculate the size and position of the AR image that does not cover the work device 120 based on the calculated field of view of the worker. The management server 130 may determine an area in which the AR image is displayed.

S236 단계에서, 관리 서버(130)는 정합된 AR 이미지를 스마트 안경(110)에 송신하고, 스마트 안경(110)은 정합된 AR 이미지를 표시할 수 있다. AR 이미지는 반투명 형태로 렌더링 될 수 있다. 스마트 안경 시스템(100)은 작업자의 움직임을 실시간으로 감지하여, AR 이미지의 적합한 정합 위치를 계산하고, AR 이미지를 작업 이미지에 증강할 수 있다.In step S236, the management server 130 transmits the matched AR image to the smart glasses 110, and the smart glasses 110 may display the matched AR image. AR images can be rendered in a translucent form. The smart glasses system 100 may detect a worker's movement in real time, calculate an appropriate matching position of the AR image, and augment the AR image to the work image.

도 8은 도 5의 S250 단계를 구체화한 순서도이다. 도 8의 순서도는 음성 인식 기반의 작업을 수행하는 예시적인 방법 단계로 이해될 것이고, S250 단계가 도 8에 의하여 제한되지 않을 것이다. 설명의 편의상, 도 1의 도면 부호를 참조하여, 도 8이 설명된다.FIG. 8 is a flow chart illustrating step S250 of FIG. 5. The flowchart of FIG. 8 will be understood as an exemplary method step for performing a voice recognition-based operation, and step S250 will not be limited by FIG. 8. For convenience of explanation, FIG. 8 is described with reference to the reference numerals in FIG. 1.

S251 단계에서, 작업자는 스마트 안경(110)에 제1 음성 명령어를 입력할 수 있다. 작업자는 스마트 안경(110)에 표시된 AR 이미지에 기초하여, 입력될 제1 음성 명령어의 종류를 인식할 수 있다. 예를 들어, 제1 음성 명령어의 종류는 "메뉴 요청", "취소", "전화 통화", 및 "종료"를 포함할 수 있고, AR 이미지로 표시될 수 있다.In step S251, the operator may input a first voice command to the smart glasses 110. The operator may recognize the type of the first voice command to be input based on the AR image displayed on the smart glasses 110. For example, the type of the first voice command may include "menu request", "cancel", "phone call", and "end", and may be displayed as an AR image.

S252 단계에서, 스마트 안경(110)은 제1 음성 명령어를 해석하여 인식 가능한지 판단할 수 있다. 제1 음성 명령어가 불명확하여 인식되지 않는 경우, S251 단계로 돌아갈 수 있다. 작업자에게 추가적인 음성 명령어를 요구하기 위하여, 스마트 안경(110)은 재입력을 요구하는 메시지를 표시할 수 있다. 제1 음성 명령어가 인식 가능한 경우, S253 단계가 진행된다.In step S252, the smart glasses 110 may determine whether the first voice command can be interpreted and recognized. If the first voice command is not recognized because it is unclear, it may return to step S251. In order to request an additional voice command from the operator, the smart glasses 110 may display a message requesting re-input. If the first voice command is recognizable, step S253 proceeds.

S253 단계에서, 스마트 안경(110)은 제1 음성 명령어가 "메뉴 요청"에 대응되는지 판단할 수 있다. 제1 음성 명령어가 "메뉴 요청"에 대응되는 경우, 스마트 안경(110)은 AR 이미지에 메뉴 정보를 포함하는 메뉴 이미지를 표시하여 작업자에게 동작 모드의 선택을 유도할 수 있다. 이러한 동작을 위한 S258 내지 S263단계가 진행된다. 제1 음성 명령어가 "메뉴 요청"에 대응되지 않는 경우, S254 단계가 진행된다. In step S253, the smart glasses 110 may determine whether the first voice command corresponds to the "menu request". When the first voice command corresponds to the "menu request", the smart glasses 110 may induce the operator to select an operation mode by displaying a menu image including menu information on the AR image. Steps S258 to S263 for this operation proceed. If the first voice command does not correspond to the "menu request", step S254 proceeds.

S254 단계에서, 스마트 안경(110)은 제1 음성 명령어가 "취소"에 대응되는지 판단할 수 있다. 제1 음성 명령어가 "취소"에 대응되는 경우, 도 5의 S210 단계로 돌아가고, 스마트 안경 시스템(100)은 작업자의 시야에 따른 AR 이미지를 생성하기 위한 동작을 수행할 수 있다. 제1 음성 명령어가 "취소"에 대응되지 않는 경우, S255 단계가 진행된다.In step S254, the smart glasses 110 may determine whether the first voice command corresponds to "cancel". When the first voice command corresponds to "cancel", the process returns to step S210 of FIG. 5, and the smart glasses system 100 may perform an operation for generating an AR image according to the worker's field of view. If the first voice command does not correspond to "cancel", step S255 proceeds.

S255 단계에서, 스마트 안경(110)은 제1 음성 명령어가 "전화 통화"에 대응되는지 판단할 수 있다. 제1 음성 명령어가 "전화 통화"에 대응되는 경우, S256 단계가 진행된다. S256 단계에서, 작업자는 단말기(140)의 사용자와 전화 통화를 수행할 수 있다. 작업자는 통화를 통하여, 작업 장치(120)의 작업 제어를 위한 지시를 받거나 의견을 교환할 수 있다. 통화 종료 후, 다시 S251 단계가 진행되고, 제1 음성 명령어의 입력을 요구하는 메시지가 표시될 수 있다. 제1 음성 명령어가 "전화 통화"에 대응되지 않는 경우, S257 단계가 진행된다.In step S255, the smart glasses 110 may determine whether the first voice command corresponds to "phone call". When the first voice command corresponds to "telephone call", step S256 proceeds. In step S256, the worker may make a phone call with the user of the terminal 140. The operator may receive an instruction or exchange opinions for controlling the work of the work device 120 through a call. After the call is ended, step S251 is performed again, and a message requesting input of the first voice command may be displayed. If the first voice command does not correspond to the "phone call", step S257 proceeds.

S257 단계에서, 스마트 안경(110)은 제1 음성 명령어가 "종료"에 대응되는지 판단할 수 있다. 제1 음성 명령어가 "종료"에 대응되는 경우, 스마트 안경(110)은 오프될 수 있다. 제1 음성 명령어가 "종료"에 대응되지 않는 경우, 스마트 안경(110)은 제1 음성 명령어가 선택 가능한 동작 모드를 지시하지 않는다고 판단할 수 있다. 따라서, 다시 S251 단계가 진행되고, 제1 음성 명령어의 입력을 요구하는 메시지가 표시될 수 있다.In step S257, the smart glasses 110 may determine whether the first voice command corresponds to “end”. When the first voice command corresponds to "end", the smart glasses 110 may be turned off. When the first voice command does not correspond to “end”, the smart glasses 110 may determine that the first voice command does not indicate a selectable operation mode. Accordingly, step S251 proceeds again, and a message requesting input of the first voice command may be displayed.

S258 단계에서, 스마트 안경(110)은 "메뉴 요청"에 대응되는 제1 음성 명령어에 기초하여 메뉴 정보를 포함하는 메뉴 이미지를 표시할 수 있다. 메뉴 이미지는 제2 음성 명령어의 종류를 표시할 수 있다. 예를 들어, 제2 음성 명령어의 종류는 "다음", "선택", 및 "이전"을 포함할 수 있고, 메뉴 이미지로 표시될 수 있다. 상술된 AR 이미지와 같이, 메뉴 이미지는 스마트 안경(110)의 자세 정보 및 동공의 위치에 기초하여 표시 영역에 정합될 수 있다.In step S258, the smart glasses 110 may display a menu image including menu information based on a first voice command corresponding to a "menu request". The menu image may display the type of the second voice command. For example, the type of the second voice command may include "next", "select", and "previous", and may be displayed as a menu image. Like the AR image described above, the menu image may be matched to the display area based on the posture information of the smart glasses 110 and the position of the pupil.

S259 단계에서, 작업자는 스마트 안경(110)에 제2 음성 명령어를 입력할 수 있다. 작업자는 메뉴 이미지에 기초하여 제2 음성 명령어의 종류를 인식할 수 있다. S260 단계에서, 스마트 안경(110)은 제2 음성 명령어가 인식 가능한지 판단할 수 있다. 제2 음성 명령어가 인식되지 않는 경우, S259 단계로 돌아갈 수 있다. 작업자에게 추가적인 음성 명령어를 요구하기 위하여, 스마트 안경(110)은 재입력을 요구하는 메시지를 표시할 수 있다. 제2 음성 명령어가 인식 가능한 경우, S261 단계가 진행된다.In step S259, the worker may input a second voice command to the smart glasses 110. The operator may recognize the type of the second voice command based on the menu image. In step S260, the smart glasses 110 may determine whether the second voice command can be recognized. If the second voice command is not recognized, it may return to step S259. In order to request an additional voice command from the operator, the smart glasses 110 may display a message requesting re-input. If the second voice command is recognizable, step S261 proceeds.

S261 단계에서, 스마트 안경(110)은 제2 음성 명령어가 "다음"에 대응되는지 판단할 수 있다. 제2 음성 명령어가 "다음"에 대응되는 경우, 스마트 안경(110)은 관리 서버(130)로부터 다음 메뉴 이미지를 수신하여 표시할 수 있다. 메뉴 이미지들은 관리 서버(130)에 순차적으로 정렬되어 관리될 수 있다. 예를 들어, 메뉴 이미지들은 작업 수행 순서에 따라 정렬될 수 있다. 작업자는 현재 작업 단계를 수행한 이후에 "다음"을 선택함으로써, 다음 작업 단계를 표시하도록 스마트 안경(110)을 제어할 수 있다. 다음 메뉴 이미지는 스마트 안경(110)의 자세 정보 및 동공의 위치에 기초하여 표시 영역에 정합될 수 있다. 제2 음성 명령어가 "다음"에 대응되지 않는 경우, S262 단계가 진행된다.In step S261, the smart glasses 110 may determine whether the second voice command corresponds to "next". When the second voice command corresponds to "next", the smart glasses 110 may receive and display the next menu image from the management server 130. Menu images may be sequentially arranged and managed in the management server 130. For example, menu images may be arranged according to the order in which tasks are performed. The operator can control the smart glasses 110 to display the next working step by selecting "Next" after performing the current working step. The next menu image may be matched to the display area based on the posture information of the smart glasses 110 and the position of the pupil. If the second voice command does not correspond to "next", step S262 proceeds.

S262 단계에서, 스마트 안경(110)은 제2 음성 명령어가 "선택"에 대응되는지 판단할 수 있다. 제2 음성 명령어가 "선택"에 대응되는 경우, 도 5의 S270 단계가 진행된다. 즉, "선택"에 대응되는 동작 모드는 단말기(140)와 같은 전자 장치와의 통신이 요구되는 동작을 포함할 수 있다. 제2 음성 명령어가 "선택"에 대응되지 않는 경우, S263 단계가 진행된다.In step S262, the smart glasses 110 may determine whether the second voice command corresponds to "selection". If the second voice command corresponds to "selection", step S270 of FIG. 5 proceeds. That is, the operation mode corresponding to "selection" may include an operation requiring communication with an electronic device such as the terminal 140. If the second voice command does not correspond to "select", step S263 proceeds.

S263 단계에서, 스마트 안경(110)은 제2 음성 명령어가 "이전"에 대응되는지 판단할 수 있다. 제2 음성 명령어가 "이전"에 대응되는 경우, 스마트 안경(110)은 관리 서버(130)로부터 이전 메뉴 이미지를 수신하여 표시할 수 있다. 작업자는 "이전"을 선택함으로써, 이전 작업 단계를 표시하도록 스마트 안경(110)을 제어할 수 있다. 이전 메뉴 이미지는 스마트 안경(110)의 자세 정보 및 동공의 위치에 기초하여 표시 영역에 정합될 수 있다. 제2 음성 명령어가 "이전"에 대응되지 않는 경우, 제2 음성 명령어가 선택 가능한 동작 모드를 지시하지 않는다고 판단할 수 있다. 따라서, 다시 S258 단계가 진행되고, 제2 음성 명령어의 입력을 요구하는 메시지가 표시될 수 있다.In step S263, the smart glasses 110 may determine whether the second voice command corresponds to "previous". When the second voice command corresponds to "previous", the smart glasses 110 may receive and display the previous menu image from the management server 130. The operator can control the smart glasses 110 to display the previous work step by selecting "Previous". The previous menu image may be matched to the display area based on the posture information of the smart glasses 110 and the position of the pupil. If the second voice command does not correspond to "previous", it may be determined that the second voice command does not indicate a selectable operation mode. Accordingly, step S258 proceeds again, and a message requesting input of the second voice command may be displayed.

도 9는 도 5의 S290 단계를 구체화한 순서도이다. 도 9의 순서도는 선택된 통신 작업을 수행하는 예시적인 방법 단계로 이해될 것이고, S290 단계가 도 9에 의하여 제한되지 않을 것이다. 설명의 편의상, 도 1의 도면 부호를 참조하여, 도 9가 설명된다. 도 8의 S262 단계에서, 제2 음성 명령어가 "선택"에 대응되는 경우, 도 9의 단계들이 진행된다. 스마트 안경(110)은 선택된 메뉴 정보를 판단하고, 선택된 메뉴 정보에 대응되는 통신 작업을 수행할 수 있다.9 is a flowchart illustrating step S290 of FIG. 5. The flowchart of FIG. 9 will be understood as an exemplary method step for performing the selected communication task, and step S290 will not be limited by FIG. 9. For convenience of explanation, FIG. 9 is described with reference to the reference numerals in FIG. 1. In step S262 of FIG. 8, if the second voice command corresponds to "select", steps of FIG. 9 are performed. The smart glasses 110 may determine the selected menu information and perform a communication operation corresponding to the selected menu information.

S291 단계에서, 스마트 안경(110)은 선택된 메뉴 정보가 "수행 완료"에 대응되는지 판단할 수 있다. "수행 완료"에 대응되는 경우, S292 단계가 진행되며, "수행 완료" 메시지를 단말기(140) 또는 관리 서버(130)에 전송할 수 있다. "수행 완료"는 작업자가 현재 작업 단계를 완료한 경우 선택될 수 있다. 스마트 안경(110)은 송신자 목록에서 송신자를 선택하고, 수신자 목록에서 수신자를 선택하여 메시지를 해당 수신자에 전송할 수 있다. 메시지가 전송된 후, S295 단계가 진행되며, 메뉴 이미지가 디스플레이에 표시되지 않도록 제거될 수 있다. 이후, 스마트 안경(110)은 도 5의 S210 단계로 진행하고, 스마트 안경 시스템(100)은 작업자의 시야에 따른 AR 이미지를 생성하기 위한 동작을 수행할 수 있다. 선택된 메뉴 정보가 "수행 완료"에 대응되지 않는 경우, S293 단계가 진행될 수 있다.In step S291, the smart glasses 110 may determine whether the selected menu information corresponds to "performed". If it corresponds to "Performance Complete", step S292 proceeds, and a "Performance Complete" message may be transmitted to the terminal 140 or the management server 130. "Performed done" can be selected when the operator has completed the current work step. The smart glasses 110 may select a sender from the sender list, select a recipient from the receiver list, and transmit a message to the corresponding recipient. After the message is transmitted, step S295 proceeds, and the menu image may be removed so that it is not displayed on the display. Thereafter, the smart glasses 110 proceed to step S210 of FIG. 5, and the smart glasses system 100 may perform an operation for generating an AR image according to the worker's field of view. If the selected menu information does not correspond to "Performance Complete", step S293 may proceed.

S293 단계에서, 스마트 안경(110)은 선택된 메뉴 정보가 "수신 확인"에 대응되는지 판단할 수 있다. "수신 확인"에 대응되는 경우, S294 단계가 진행되며, "수신 확인" 메시지를 단말기(140) 또는 관리 서버(130)에 전송할 수 있다. "수신 확인"은 작업자가 단말기(140) 등으로부터 지시 정보 또는 작업 제어와 관련된 정보를 받은 경우 선택될 수 있다. 스마트 안경(110)은 송신자 목록에서 송신자를 선택하고, 수신자 목록에서 수신자를 선택하여 메시지를 해당 수신자에 전송할 수 있다. 메시지가 전송된 후, S295 단계가 진행되며, 메뉴 이미지가 디스플레이에 표시되지 않도록 제거될 수 있다. 이후, 스마트 안경(110)은 도 5의 S210 단계로 진행하고, 스마트 안경 시스템(100)은 작업자의 시야에 따른 AR 이미지를 생성하기 위한 동작을 수행할 수 있다. 선택된 메뉴 정보가 "수신 확인"에 대응되지 않는 경우, S296 단계가 진행될 수 있다.In step S293, the smart glasses 110 may determine whether the selected menu information corresponds to "reception confirmation". If it corresponds to "reception confirmation", step S294 proceeds, and a "reception confirmation" message may be transmitted to the terminal 140 or the management server 130. "Reception confirmation" may be selected when the operator receives instruction information or information related to job control from the terminal 140 or the like. The smart glasses 110 may select a sender from the sender list, select a recipient from the receiver list, and transmit a message to the corresponding recipient. After the message is transmitted, step S295 proceeds, and the menu image may be removed so that it is not displayed on the display. Thereafter, the smart glasses 110 proceed to step S210 of FIG. 5, and the smart glasses system 100 may perform an operation for generating an AR image according to the worker's field of view. If the selected menu information does not correspond to "reception confirmation", step S296 may proceed.

S296 단계에서, 스마트 안경(110)은 선택된 메뉴 정보가 "미러링"에 대응되는지 판단할 수 있다. "미러링"에 대응되는 경우, S297 단계가 진행되며, 스마트 안경(110)은 미러링 정보를 단말기(140)로 제공할 수 있다. 일례로, 단말기(140)는 미러링 정보에 기초하여, 작업 장치(120)의 작업 이미지를 표시할 수 있다. 스마트 안경(110)은 송신자 목록에서 송신자를 선택하고, 수신자 목록에서 수신자를 선택하여 미러링 정보를 해당 수신자에 전송할 수 있다. 이후, 스마트 안경(110)은 도 5의 S250 단계로 진행하고, 음성 인식 기반의 작업이 수행될 수 있다.In step S296, the smart glasses 110 may determine whether the selected menu information corresponds to “mirroring”. If it corresponds to "mirroring", step S297 proceeds, and the smart glasses 110 may provide mirroring information to the terminal 140. For example, the terminal 140 may display the work image of the work device 120 based on the mirroring information. The smart glasses 110 may select a sender from a sender list, select a receiver from the receiver list, and transmit mirroring information to the corresponding receiver. Thereafter, the smart glasses 110 proceed to step S250 of FIG. 5, and a voice recognition-based operation may be performed.

위에서 설명한 내용은 본 발명을 실시하기 위한 구체적인 예들이다. 본 발명에는 위에서 설명한 실시 예들뿐만 아니라, 단순하게 설계 변경하거나 용이하게 변경할 수 있는 실시 예들도 포함될 것이다. 또한, 본 발명에는 상술한 실시 예들을 이용하여 앞으로 용이하게 변형하여 실시할 수 있는 기술들도 포함될 것이다.The contents described above are specific examples for carrying out the present invention. The present invention will include not only the embodiments described above, but also embodiments that can be changed in design or easily changed. In addition, the present invention will also include techniques that can be easily modified and implemented in the future using the above-described embodiments.

100, 200: 스마트 안경 시스템
110, 210: 스마트 안경
120, 220: 작업 장치
130: 관리 서버
140: 단말기 100, 200: smart glasses system
110, 210: smart glasses
120, 220: working device
130: management server
140: terminal

Claims (1)

작업 장치를 촬영하여 작업 이미지를 획득하는 카메라 및, 상기 작업 이미지에 대응되는 증강 현실 이미지를 표시하는 디스플레이를 포함하는 스마트 안경; 및
상기 작업 이미지, 상기 스마트 안경의 위치 및 방향, 및 상기 스마트 안경을 착용한 작업자의 동공 위치에 기초하여 상기 증강 현실 이미지를 생성하는 관리 서버를 포함하되,
상기 스마트 안경은 음성 정보에 기초하여 상기 증강 현실 이미지를 변경하고 통신 대상 및 통신 정보를 결정하는 스마트 안경 시스템.
Smart glasses including a camera for photographing a work device to obtain a work image, and a display for displaying an augmented reality image corresponding to the work image; And
A management server for generating the augmented reality image based on the work image, the position and direction of the smart glasses, and the pupil position of the worker wearing the smart glasses,
The smart glasses system for changing the augmented reality image based on voice information and determining a communication target and communication information.
KR1020190045856A 2019-04-19 2019-04-19 Smart glass system for providing augmented reality image KR20200122754A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190045856A KR20200122754A (en) 2019-04-19 2019-04-19 Smart glass system for providing augmented reality image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190045856A KR20200122754A (en) 2019-04-19 2019-04-19 Smart glass system for providing augmented reality image

Publications (1)

Publication Number Publication Date
KR20200122754A true KR20200122754A (en) 2020-10-28

Family

ID=73018194

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190045856A KR20200122754A (en) 2019-04-19 2019-04-19 Smart glass system for providing augmented reality image

Country Status (1)

Country Link
KR (1) KR20200122754A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102294397B1 (en) 2020-12-03 2021-08-26 주식회사 엔씨월드 Smart wearable system using augmented reality
KR102377988B1 (en) * 2021-09-30 2022-03-24 주식회사 아진엑스텍 Method and device for assisting collaboration with robot

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102294397B1 (en) 2020-12-03 2021-08-26 주식회사 엔씨월드 Smart wearable system using augmented reality
KR102377988B1 (en) * 2021-09-30 2022-03-24 주식회사 아진엑스텍 Method and device for assisting collaboration with robot

Similar Documents

Publication Publication Date Title
US11127210B2 (en) Touch and social cues as inputs into a computer
KR20220027119A (en) System and method for monitoring field based augmented reality using digital twin
US9639988B2 (en) Information processing apparatus and computer program product for processing a virtual object
US8225226B2 (en) Virtual control panel
US20130174213A1 (en) Implicit sharing and privacy control through physical behaviors using sensor-rich devices
US7454216B2 (en) in-facility information provision system and in-facility information provision method
KR102583682B1 (en) Electronic device and method for dispalying sharing information based on augmented reality
KR102499354B1 (en) Electronic apparatus for providing second content associated with first content displayed through display according to motion of external object, and operating method thereof
KR20210086072A (en) System and method for real-time monitoring field work
US11532227B2 (en) Discovery of and connection to remote devices
KR20190100133A (en) Apparatus and method for providing augmented reality contents
KR20200122754A (en) Smart glass system for providing augmented reality image
KR102259350B1 (en) Remote support system based on augmented reality and operation method thereof
US11137600B2 (en) Display device, display control method, and display system
US20230089061A1 (en) Space recognition system, space recognition method, information terminal, and server apparatus
US20230124173A1 (en) Information terminal device and application operation mode control method of same
KR20190048810A (en) Apparatus and method for providing augmented reality contents
KR20220026114A (en) Electronic device, and method for identifing realted external electronic device in augmented reality of electronic device
JP2016192096A (en) Object recognition and selection device, object recognition and selection method, and program
WO2022244052A1 (en) Head-mounted display device
JP2018181339A (en) System, and information processing method and program
US12039859B2 (en) Discovery of and connection to remote devices
US20240244173A1 (en) Head mounted display
JP7187520B2 (en) Glasses-type device, management server and program
KR102245760B1 (en) Table top devices and table top systems

Legal Events

Date Code Title Description
E902 Notification of reason for refusal