KR20220095265A - Augmented Reality System - Google Patents

Augmented Reality System Download PDF

Info

Publication number
KR20220095265A
KR20220095265A KR1020200185426A KR20200185426A KR20220095265A KR 20220095265 A KR20220095265 A KR 20220095265A KR 1020200185426 A KR1020200185426 A KR 1020200185426A KR 20200185426 A KR20200185426 A KR 20200185426A KR 20220095265 A KR20220095265 A KR 20220095265A
Authority
KR
South Korea
Prior art keywords
augmented reality
voice
module
image
smart terminal
Prior art date
Application number
KR1020200185426A
Other languages
Korean (ko)
Other versions
KR102605552B1 (en
Inventor
김현배
Original Assignee
주식회사 딥파인
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 딥파인 filed Critical 주식회사 딥파인
Priority to KR1020200185426A priority Critical patent/KR102605552B1/en
Priority to PCT/KR2021/014499 priority patent/WO2022145655A1/en
Publication of KR20220095265A publication Critical patent/KR20220095265A/en
Application granted granted Critical
Publication of KR102605552B1 publication Critical patent/KR102605552B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/22—Interactive procedures; Man-machine interfaces
    • G10L17/24—Interactive procedures; Man-machine interfaces the user being prompted to utter a password or a predefined phrase
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Business, Economics & Management (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Computer Graphics (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

The present invention relates to an augmented reality system capable of increasing quality and productivity by improving work efficiency through real-time collaboration with experts. According to an embodiment of the present invention, the augmented reality system comprises: a smart terminal which is carried by a worker, which obtains field image information by photographing a work site, and which displays augmented reality guide related to the field image information; a remote support terminal for displaying the field image information obtained from the smart terminal and providing instruction information instructed by a remote expert to the smart terminal and/or a server (300); and a server for mutually relaying data between the smart terminal and the remote support terminal, generating the augmented reality guide based on the instruction information, and providing the augmented reality guide to the smart terminal to be matched and displayed with the field image information.

Description

증강현실시스템{Augmented Reality System}Augmented Reality System {Augmented Reality System}

본 발명은 증강현실시스템에 관한 것으로, 더욱 상세하게는 전문가와 실시간 협업을 통한 업무 효율 개선으로 품질 및 생산성을 높일 수 있는 증강현실시스템에 관한 것이다.The present invention relates to an augmented reality system, and more particularly, to an augmented reality system capable of increasing quality and productivity by improving work efficiency through real-time collaboration with experts.

산업 현장에서는 양손을 쓰지 못하는 상황에서 발생할 수 있는 안전사고 발생가능성을 최소화할 수 있는 시스템 제어방법, 지식제안, 협업 도구를 위한 기술 개발이 절실히 필요하다.In the industrial field, there is an urgent need to develop technologies for system control methods, knowledge proposals, and collaboration tools that can minimize the possibility of safety accidents that can occur in situations where both hands cannot be used.

또한, 원거리에 위치한 산업 현장의 문제 해결을 지원하기 위한 기존의 솔루션은 실시간으로 업무 내용을 공유하여 대응하기가 어렵기 때문에 워크 플로우 중단으로 업무 효율성이 저하되며, 각 산업군에 특화된 데이터를 기반으로 문제점을 진단하는 특정 데이터의 정량화 및 가시화가 지원되지 않으며, 업무 생산성을 향상시키는 시스템을 도입하는데 많은 비용이 발생하고 있다.In addition, the existing solutions to support problem solving in remote industrial sites are difficult to respond by sharing work contents in real time, so work efficiency is reduced due to workflow interruption, and problems based on data specific to each industry group Quantification and visualization of specific data for diagnosis is not supported, and there is a lot of cost in introducing a system that improves work productivity.

대한민국 공개특허공보 제10-2019-0101323호Republic of Korea Patent Publication No. 10-2019-0101323

본 발명이 해결하고자 하는 기술적 과제는 전문가와 실시간 협업을 통한 업무 효율 개선으로 품질 및 생산성을 높일 수 있는 증강현실시스템을 제공하는 것이다.The technical problem to be solved by the present invention is to provide an augmented reality system that can improve quality and productivity by improving work efficiency through real-time collaboration with experts.

또한, 본 발명이 해결하고자 하는 기술적 과제는 음성 제어를 통해 양손이 자유롭지 못한 현장에서 안전상의 문제를 해결할 수 있는 증강현실시스템을 제공하는 것이다.In addition, the technical problem to be solved by the present invention is to provide an augmented reality system that can solve safety problems in a field where both hands are not free through voice control.

또한, 본 발명이 해결하고자 하는 기술적 과제는 위험할 수 있는 현장의 업무를 비전분야의 인공지능 기술을 활용하여 안전하게 처리할 수 있는 증강현실시스템을 제공하는 것이다.In addition, the technical problem to be solved by the present invention is to provide an augmented reality system that can safely process dangerous field work using artificial intelligence technology in the vision field.

또한, 본 발명이 해결하고자 하는 기술적 과제는 원격을 통한 실시간 협업 및 증강현실 기술을 활용한 디지털 작업 지짐으로 작업시간을 단축하고 업무의 효율을 개선할 수 있는 증강현실시스템을 제공하는 것이다.In addition, the technical problem to be solved by the present invention is to provide an augmented reality system that can reduce work time and improve work efficiency by using digital work support using remote real-time collaboration and augmented reality technology.

또한, 본 발명이 해결하고자 하는 기술적 과제는 인공지능 및 증강현실 기술을 활용한 비전문가 교육과 안전도 향상을 통해 기업의 운영 비용을 절감시켜 매출과 고객 만족도를 크게 개선할 수 있는 증강현실시스템을 제공하는 것이다.In addition, the technical problem to be solved by the present invention is to provide an augmented reality system that can significantly improve sales and customer satisfaction by reducing the operating cost of a company through non-professional education and safety improvement using artificial intelligence and augmented reality technology will do

본 발명이 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The technical problems to be achieved by the present invention are not limited to the technical problems mentioned above, and other technical problems not mentioned can be clearly understood by those of ordinary skill in the art to which the present invention belongs from the description below. There will be.

상기 기술적 과제를 달성하기 위하여, 본 발명의 일실시예는 작업자가 휴대하며, 작업현장을 촬영하여 현장영상정보를 획득하고, 상기 현장영상정보에 관련된 증강현실 가이드를 표시하는 스마트 단말기; 상기 스마트 단말기에서 획득한 상기 현장영상정보를 표시하며, 원격 전문가가 지시하는 지시사항정보를 상기 스마트 단말기 및/또는 하기 서버(300)로 제공하는 원격지원 단말기; 및 상기 스마트 단말기와 상기 원격지원 단말기 사이에서 데이터를 상호 중계하고, 상기 현장영상정보에 정합되어 표시되도록 상기 지시사항정보를 바탕으로 상기 증강현실 가이드를 생성하여 상기 스마트 단말기에 제공하는 서버;를 포함하는, 증강현실시스템을 제공한다. In order to achieve the above technical problem, one embodiment of the present invention is a smart terminal that a worker carries, obtains field image information by photographing a work site, and displays an augmented reality guide related to the field image information; a remote support terminal that displays the on-site image information obtained from the smart terminal and provides instruction information instructed by a remote expert to the smart terminal and/or the following server 300; and a server that mutually relays data between the smart terminal and the remote support terminal, generates the augmented reality guide based on the instruction information and provides it to the smart terminal so as to match and display the on-site image information. to provide an augmented reality system.

본 발명의 실시예에 있어서, 상기 스마트 단말기는, 작업자의 안면에 착용되는 프레임, 상기 프레임에 설치되는 렌즈 및 상기 프레임에 결합되어 기 설정된 좌표영역이 표시되도록 설정된 디스플레이를 포함하는 글래스모듈; 상기 프레임에 설치되어 작업자의 시선 및/또는 이동에 따라 작업자가 바라보는 현장을 실시간으로 촬영하여 상기 현장영상정보를 획득하는 카메라모듈; 상기 프레임에 적어도 하나가 설치되어 작업자의 음성을 입력처리하는 음성입력모듈; 상기 프레임에 설치되어 상기 원격지원 단말기 및/또는 상기 서버와 통신하는 글래스통신모듈; 및 설정된 인공지능모델을 이용하여 상기 현장영상정보로부터 설정된 불량 및/또는 균열을 검출하고, 검출된 불량 및/또는 균열이 확인 가능하도록 상기 글래스모듈에 표시시키며, 상기 글래스통신모듈을 통해 수신한 상기 증강현실 가이드를 상기 글래스모듈에 표시되도록 처리하고, 상기 음성에 대응하여 설정된 동작을 수행하도록 처리하는 글래스제어모듈을 포함할 수 있다.In an embodiment of the present invention, the smart terminal comprises: a glass module including a frame worn on a worker's face, a lens installed on the frame, and a display coupled to the frame to display a preset coordinate area; a camera module installed in the frame to capture the scene viewed by the operator in real time according to the operator's gaze and/or movement to obtain the on-site image information; at least one voice input module installed in the frame to input and process a worker's voice; a glass communication module installed in the frame to communicate with the remote support terminal and/or the server; and detecting a set defect and/or crack from the on-site image information using a set artificial intelligence model, and displays the detected defect and/or crack on the glass module so that the detected defect and/or crack can be confirmed, and the received through the glass communication module and a glass control module that processes the augmented reality guide to be displayed on the glass module and performs a set operation in response to the voice.

본 발명의 실시예에 있어서, 상기 글래스제어모듈은, 상기 서버로부터 수신한 상기 증강현실 가이드가 상기 글래스모듈에서 표시되도록 상기 증강현실 가이드를 신호처리하여 상기 글래스모듈에 제공하는 영상처리부; 상기 음성입력모듈로부터 수신한 음성을 명령으로 신호처리하여 상기 글래스통신모듈을 통해 상기 서버로 음성명령을 제공하는 음성처리부; 및 상기 영상처리부에서 신호처리된 상기 증강현실 가이드가 작업자의 음성에 매칭되어 상기 글래스모듈에 표시되도록, 상기 영상처리부 및/또는 상기 음성처리부를 제어하는 메인제어부을 포함할 수 있다.In an embodiment of the present invention, the glass control module includes: an image processing unit for signal processing the augmented reality guide received from the server and providing the augmented reality guide to the glass module to be displayed on the glass module; a voice processing unit that processes the voice received from the voice input module as a command and provides a voice command to the server through the glass communication module; and a main controller controlling the image processing unit and/or the audio processing unit so that the augmented reality guide signal-processed by the image processing unit is matched with the operator's voice and displayed on the glass module.

본 발명의 실시예에 있어서, 상기 음성처리부는, 작업자의 발화가 입력된 것으로 판단되면, 상기 음성으로부터 상기 디스플레이에 설정된 좌표영역에 대한 키워드를 추출하거나, 증강현실 가이드의 실행명령에 대한 키워드를 추출하여 음성명령으로 신호처리하고 상기 서버에 음성명령을 제공할 수 있다.In an embodiment of the present invention, when it is determined that the operator's utterance is input, the voice processing unit extracts a keyword for a coordinate region set on the display from the voice, or extracts a keyword for an execution command of the augmented reality guide Thus, it is possible to process a signal with a voice command and provide the voice command to the server.

본 발명의 실시예에 있어서, 상기 서버는, 상기 스마트 단말기 및/또는 상기 원격지원 단말기와 통신하는 서버통신모듈; 상기 인공지능모델을 이용하여 상기 현장영상정보로부터 설정된 객체를 추출하는 영상분석모듈; 상기 스마트 단말기로부터 수신한 상기 음성명령으로부터 키워드 및/또는 입력신호를 분석하는 음성명령분석모듈; 설정된 산업 도메인의 데이터를 바탕으로 상기 인공지능모델을 설정하고, 상기 객체에 상기 지시사항정보를 반영하여 상기 증강현실 가이드를 생성하며, 상기 현장영상정보의 객체의 각 위치에 표시되도록 상기 증강현실 가이드에 좌표를 정합하는 컨텐츠제공모듈; 및 상기 영상분석모듈 및/또는 상기 음성명령분석모듈로부터 분석결과를 수신하며 상기 현장영상정보, 상기 지시사항정보 및/또는 상기 음성명령에 대응하는 상기 증강현실 가이드를 매칭하여 상기 스마트 단말기에 제공하도록, 상기 컨텐츠제공모듈을 제어하는 서버제어모듈을 포함할 수 있다.In an embodiment of the present invention, the server comprises: a server communication module for communicating with the smart terminal and/or the remote support terminal; an image analysis module for extracting an object set from the on-site image information using the artificial intelligence model; a voice command analysis module for analyzing a keyword and/or an input signal from the voice command received from the smart terminal; Set the artificial intelligence model based on the set industrial domain data, generate the augmented reality guide by reflecting the instruction information to the object, and the augmented reality guide to be displayed at each position of the object of the field image information content providing module for matching the coordinates to; and receiving the analysis result from the image analysis module and/or the voice command analysis module, and match the on-site image information, the instruction information, and/or the augmented reality guide corresponding to the voice command to provide it to the smart terminal , it may include a server control module for controlling the content providing module.

본 발명의 실시예에 있어서, 상기 영상분석모듈은, 형체 인식을 위한 이미지 분석 인공지능 프로그램으로 설정되는 상기 이미지 인식 모델을 이용하여 객체를 분석하되, 상기 이미지 인식 모델은, 상품 인식을 위한 1,2차원 바코드 데이터를 자동으로 생성하는 테스트 이미지 자동생성, 이미지 증식 기법을 포함하여 이미지 해상도 변경에 따른 패딩 자동 처리하는 데이터 아규먼트(data argument), 트레이닝 이미지의 해상도를 변경하였을 때 발생되는 바운딩 박스의 위치변화를 보정하기 위한 알고리즘을 도입하는 해상도 변경, 상품 및 형상 인식을 하기 위해 촬영된 이미지의 업스케일링을 위한 트레이닝 데이터를 자동 분류하는 이미지 복원을 위한 데이터셋 분리 중 적어도 하나를 포함하는 항목을 지원할 수 있다.In an embodiment of the present invention, the image analysis module analyzes an object using the image recognition model set as an image analysis artificial intelligence program for shape recognition, wherein the image recognition model is 1 for product recognition; Automatic creation of test image that automatically generates two-dimensional barcode data, data argument that automatically processes padding according to image resolution change including image multiplication technique, and the location of the bounding box that occurs when the resolution of the training image is changed Can support items including at least one of resolution change, which introduces an algorithm to compensate for changes, and dataset separation for image restoration, which automatically classifies training data for upscaling of images taken for product and shape recognition have.

본 발명의 실시예에 있어서, 상기 음성명령분석모듈은, 노이즈와 음성을 분리하고, 분리된 노이즈와 음성을 딥러닝 학습하고, 딥러닝을 통해 학습된 인공지능 모델에 음성인식 기법을 적용하여 음성데이터를 텍스트로 변환하는 상기 자연어 처리모델을 이용하여 상기 음성명령을 분석할 수 있다.In an embodiment of the present invention, the voice command analysis module separates noise and voice, deep-learning the separated noise and voice, and applying a voice recognition technique to the artificial intelligence model learned through deep learning to make a voice The voice command may be analyzed using the natural language processing model that converts data into text.

본 발명의 실시예에 있어서, 상기 컨텐츠제공모듈은, 상기 인공지능모델을 이용한 비전기술을 기반으로 상기 스마트 단말기로부터 수신한 모델링 대상물의 360도 스캐닝 데이터를 샘플링하여 설정된 각도에서 촬영된 복수의 이미지를 추출하여 합성하고, 추출된 이미지를 3차원 오브젝트로 생성한 후 3차원 편집툴로 보정하여 증강현실 컨텐츠를 생성할 수 있다.In an embodiment of the present invention, the content providing module samples 360-degree scanning data of the modeling object received from the smart terminal based on the vision technology using the artificial intelligence model and provides a plurality of images taken at a set angle. Augmented reality content can be created by extracting and synthesizing, generating the extracted image as a three-dimensional object, and then correcting it with a three-dimensional editing tool.

본 발명의 실시예에 따르면, 전문가와 실시간 협업을 통한 업무 효율 개선으로 품질 및 생산성을 높일 수 있다.According to an embodiment of the present invention, quality and productivity can be increased by improving work efficiency through real-time collaboration with experts.

또한, 본 발명의 실시예에 따르면, 음성 제어를 통해 양손이 자유롭지 못한 현장에서 안전상의 문제를 해결할 수 있다.In addition, according to an embodiment of the present invention, it is possible to solve a safety problem in a field where both hands are not free through voice control.

또한, 본 발명의 실시예에 따르면, 위험할 수 있는 현장의 업무를 비전분야의 인공지능 기술을 활용하여 안전하게 처리할 수 있다.In addition, according to an embodiment of the present invention, it is possible to safely process work in the field that may be dangerous by using artificial intelligence technology in the vision field.

또한, 본 발명의 실시예에 따르면, 원격을 통한 실시간 협업 및 증강현실 기술을 활용한 디지털 작업 지짐으로 작업시간을 단축하고 업무의 효율을 개선할 수 있다.In addition, according to an embodiment of the present invention, it is possible to shorten the work time and improve work efficiency by using a digital work guide using real-time collaboration and augmented reality technology through remote.

또한, 본 발명의 실시예에 따르면, 인공지능 및 증강현실 기술을 활용한 비전문가 교육과 안전도 향상을 통해 기업의 운영 비용을 절감시켜 매출과 고객 만족도를 크게 개선할 수 있다.In addition, according to an embodiment of the present invention, it is possible to significantly improve sales and customer satisfaction by reducing the operating cost of a company through non-professional education and safety improvement using artificial intelligence and augmented reality technology.

본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.It should be understood that the effects of the present invention are not limited to the above-described effects, and include all effects that can be inferred from the configuration of the invention described in the detailed description or claims of the present invention.

도 1은 본 발명의 일 실시예에 따른 증강현실시스템의 구성을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 스마트 단말기 및 서버의 구성을 예시적으로 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 스마트 단말기의 외형을 나타내는 도면이다.
도 4는 도 2의 글래스제어모듈의 세부 구성을 예시적으로 나타내는 도면이다.1 is a diagram showing the configuration of an augmented reality system according to an embodiment of the present invention.
2 is a diagram exemplarily showing the configuration of a smart terminal and a server according to an embodiment of the present invention.
3 is a diagram illustrating an external appearance of a smart terminal according to an embodiment of the present invention.
4 is a view exemplarily showing a detailed configuration of the glass control module of FIG. 2 .

이하에서는 첨부한 도면을 참조하여 본 발명을 설명하기로 한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 따라서 여기에서 설명하는 실시예로 한정되는 것은 아니다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, the present invention will be described with reference to the accompanying drawings. However, the present invention may be embodied in several different forms, and thus is not limited to the embodiments described herein. And in order to clearly explain the present invention in the drawings, parts irrelevant to the description are omitted, and similar reference numerals are attached to similar parts throughout the specification.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결(접속, 접촉, 결합)"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 부재를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 구비할 수 있다는 것을 의미한다.Throughout the specification, when a part is said to be “connected (connected, contacted, coupled)” with another part, it is not only “directly connected” but also “indirectly connected” with another member interposed therebetween. "Including cases where In addition, when a part "includes" a certain component, this means that other components may be further provided without excluding other components unless otherwise stated.

본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is used only to describe specific embodiments, and is not intended to limit the present invention. The singular expression includes the plural expression unless the context clearly dictates otherwise. In the present specification, terms such as “comprise” or “have” are intended to designate that a feature, number, step, operation, component, part, or combination thereof described in the specification exists, but one or more other features It should be understood that this does not preclude the existence or addition of numbers, steps, operations, components, parts, or combinations thereof.

본 발명에서는 촬영된 이미지를 자체 학습시킨 인공지능모델로 분석하여 균열, 파손 등과 같은 결함 파악과 함께 데이터 정량화 및/또는 가시화 기술을 구현할 수 있다. 또한, 본 발명에서는 자이로 센서, 이미지 인식 등 다양한 접근법을 통해 기존에는 하드웨어 의존도가 높아 구현하기 어려웠던 증강현실 줄자를 통한 측정 기술을 구현할 수 있다. 또한, 본 발명에서는 음성명령을 기반으로 눈금자 수치 및 영역 입력을 통해 증강현실 마킹을 하고 해당 영역에 대한 정보 가시화 기술을 구현할 수 있다. 또한, 본 발명에서는 자연어 처리를 통해 인공지능모델로 사용자 음성의 의미를 분석하는 원활하고 고도화된 챗봇을 사용하여 작업자 교육 및 매뉴얼 제공 기술을 구현할 수 있다.In the present invention, data quantification and/or visualization technology can be implemented along with the identification of defects such as cracks and breakages by analyzing the photographed image with an artificial intelligence model trained on its own. In addition, in the present invention, it is possible to implement the measurement technology through the augmented reality tape measure, which was difficult to implement due to the high dependence on hardware in the past, through various approaches such as a gyro sensor and image recognition. In addition, in the present invention, based on a voice command, augmented reality marking can be performed through ruler numerical values and area input, and information visualization technology for the corresponding area can be implemented. In addition, in the present invention, worker training and manual provision technology can be implemented using a smooth and advanced chatbot that analyzes the meaning of a user's voice with an artificial intelligence model through natural language processing.

이하 첨부된 도면을 참고하여 본 발명의 실시예를 상세히 설명하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 증강현실시스템의 구성을 나타내는 도면이다.1 is a diagram showing the configuration of an augmented reality system according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시예에 따른 증강현실시스템은 스마트 단말기(100), 원격지원 단말기(200) 및 서버(300)를 포함할 수 있다.Referring to FIG. 1 , the augmented reality system according to an embodiment of the present invention may include a smart terminal 100 , a remote support terminal 200 , and a server 300 .

상기 스마트 단말기(100)는 상기 원격지원 단말기(200) 및/또는 상기 서버(300)와 통신망으로 연결되고, 작업현장을 촬영하여 현장영상정보를 획득하고, 상기 현장영상정보에 관련된 증강현실(AR) 가이드를 표시할 수 있다. 또는, 상기 스마트 단말기(100)는 작업자의 신체(안면)에 착용되어 상기 원격지원 단말기(200) 및/또는 상기 서버(300)로 작업자가 바라보는 작업현장 및/또는 물체를 촬영한 영상을 실시간으로 제공할 수 있다. 이를 위하여, 상기 스마트 단말기(100)는 글래스모듈(110), 카메라모듈(120), 음성입력모듈(130), 글래스통신모듈(140) 및 글래스제어모듈(150)을 포함할 수 있다.The smart terminal 100 is connected to the remote support terminal 200 and/or the server 300 through a communication network, acquires field image information by photographing the work site, and augmented reality (AR) related to the field image information ) can display a guide. Alternatively, the smart terminal 100 is worn on the body (face) of the worker, and the remote support terminal 200 and/or the server 300 provides a real-time image of the work site and/or object viewed by the worker. can be provided as To this end, the smart terminal 100 may include a glass module 110 , a camera module 120 , a voice input module 130 , a glass communication module 140 , and a glass control module 150 .

도 3을 더 참조하면, 상기 글래스모듈(110)은 작업자의 안면에 착용할 수 있도록 안경 형태의 형상으로 형성될 수 있다. 이를 위하여, 상기 글래스모듈(110)은 작업자의 안면에 착용되는 프레임(112), 상기 프레임(112)에 설치되는 렌즈(114) 및 상기 프레임(112)에 결합되어 기 설정된 좌표영역이 표시되도록 설정된 디스플레이(116)을 포함할 수 있다.Referring further to FIG. 3 , the glass module 110 may be formed in a shape of glasses to be worn on the face of an operator. To this end, the glass module 110 is coupled to a frame 112 worn on the operator's face, a lens 114 installed on the frame 112, and the frame 112 to display a preset coordinate area. A display 116 may be included.

여기서, 상기 글래스모듈(110)은 상기 카메라모듈(120), 상기 음성입력모듈(130), 상기 글래스통신모듈(140) 및 상기 글래스제어모듈(150)을 상기 프레임(112) 및/또는 상기 디스플레이(116)에 결합 및/또는 내장할 수 있다.Here, the glass module 110 connects the camera module 120, the voice input module 130, the glass communication module 140, and the glass control module 150 to the frame 112 and/or the display. It may be coupled and/or embedded in (116).

또한, 상기 글래스모듈(110)은 눈금자 유저인터페이스로 상기 디스플레이(116)에 좌표영역이 설정될 수 있다. 이를 위하여, 상기 글래스모듈(110)은 눈금자 유저인터페이스를 상기 디스플레이(116)에서 별도의 고정출력신호에 따라 표시하거나, 눈금자 유저인터페이스가 포함된 영상신호를 수신하여 상기 디스플레이(116)에서 출력할 수 있다. Also, in the glass module 110 , a coordinate area may be set on the display 116 as a ruler user interface. To this end, the glass module 110 may display the ruler user interface on the display 116 according to a separate fixed output signal, or receive an image signal including the ruler user interface and output it on the display 116 . have.

상기 카메라모듈(120)은 상기 프레임(112)의 일측에 설치되어 작업자의 시선 및/또는 이동에 따라 작업자가 바라보는 물체를 실시간으로 촬영하여 실물영상을 생성할 수 있다.The camera module 120 may be installed on one side of the frame 112 to generate a real image by capturing an object viewed by the operator in real time according to the operator's gaze and/or movement.

상기 음성입력모듈(130)은 상기 프레임(112)의 일측에 적어도 하나가 설치되어 작업자의 음성을 입력 처리할 수 있다. 예를 들면, 상기 음성입력모듈(130)은 마이크로 구현되며, 상기 글래스모듈(110)을 착용한 작업자의 발화로부터 음성을 감지할 수 있다. 이때, 상기 음성입력모듈(130)이 감지하는 소리는 작업자에 의한 발화와, 작업자 이외에 다양한 요인에 의해 발생하는 소리를 포함할 수 있다.At least one of the voice input module 130 is installed on one side of the frame 112 to process the operator's voice. For example, the voice input module 130 is implemented as a microphone, and can detect a voice from the utterance of a worker wearing the glass module 110 . In this case, the sound sensed by the voice input module 130 may include an utterance by an operator and a sound generated by various factors other than the operator.

상기 글래스통신모듈(140)은 상기 프레임(112)의 일측에 설치되며, 통신망을 통해 상기 서버(300)와 통신할 수 있다. 이러한 상기 글래스통신모듈(140)은 상기 서버(300)의 통신 프로토콜(protocol)에 따라서 유선/무선을 통한 광역/근거리 네트워크나 로컬 접속 방식으로 상기 서버(300)에 접속할 수 있다.The glass communication module 140 is installed on one side of the frame 112 and can communicate with the server 300 through a communication network. The glass communication module 140 may access the server 300 through a wired/wireless wide area/local area network or a local access method according to the communication protocol of the server 300 .

상기 글래스제어모듈(150)은 설정된 인공지능모델을 이용하여 상기 현장영상정보로부터 설정된 불량 및/또는 균열을 검출하고, 검출된 불량 및/또는 균열이 확인 가능하도록 상기 글래스모듈(110)에 표시시키며, 상기 글래스통신모듈(140)을 통해 수신한 상기 증강현실 가이드를 상기 글래스모듈(110)에 표시되도록 처리하고, 상기 음성에 대응하여 설정된 동작을 수행하도록 처리할 수 있다. 또한, 상기 글래스제어모듈(150)은 수신한 영상신호를 상기 글래스모듈(110)의 디스플레이(116)에 표시되도록 처리하고, 상기 음성에 대응하여 기 설정된 동작을 수행하도록 처리할 수 있다. 이를 위하여, 상기 글래스제어모듈(150)은 도 4에 도시된 바와 같이 영상처리부(152), 음성처리부(154), 메인제어부(156)를 포함할 수 있다.The glass control module 150 detects a set defect and/or crack from the on-site image information using a set artificial intelligence model, and displays the detected defect and/or crack on the glass module 110 so that the detected defect and/or crack can be confirmed. , the augmented reality guide received through the glass communication module 140 may be processed to be displayed on the glass module 110, and a set operation may be performed in response to the voice. In addition, the glass control module 150 may process the received image signal to be displayed on the display 116 of the glass module 110 and perform a preset operation in response to the voice. To this end, the glass control module 150 may include an image processing unit 152 , an audio processing unit 154 , and a main control unit 156 as shown in FIG. 4 .

상기 영상처리부(152)는 상기 서버(300)로부터 수신한 증강현실 가이드가 상기 글래스모듈(110)에서 표시되도록 상기 증강현실 가이드를 신호처리하여 상기 글래스모듈(110)로 제공할 수 있다. 여기서, 상기 영상처리부(152)는 수신된 증강현실 가이드에 포함된 영상신호에 대해 다양한 영상처리 프로세스를 수행할 수 있다. 또한, 상기 영상처리부(152)는 이러한 프로세스를 수행한 영상신호를 상기 글래스모듈(110)의 디스플레이(116)을 통해 출력시킬 수 있다. 이를 통해, 상기 영상처리부(152)는 상기 디스플레이(116)에 해당 영상신호에 기초하는 영상을 표시되게 만들 수 있다. 예를 들면, 상기 영상처리부(152)는 수신한 증강현실 가이드로부터 해당 증강현실 가이드에 대응하는 영상, 음성 및 부가데이터를 추출하고, 기 설정된 해상도로 조정하여 상기 글래스모듈(110)을 통해 출력시킬 수 있다.The image processing unit 152 may signal-process the augmented reality guide received from the server 300 and provide it to the glass module 110 so that the augmented reality guide is displayed on the glass module 110 . Here, the image processing unit 152 may perform various image processing processes on the image signal included in the received augmented reality guide. Also, the image processing unit 152 may output the image signal on which this process is performed through the display 116 of the glass module 110 . Through this, the image processing unit 152 may display an image based on the corresponding image signal on the display 116 . For example, the image processing unit 152 extracts images, audio and additional data corresponding to the augmented reality guide from the received augmented reality guide, adjusts it to a preset resolution, and outputs it through the glass module 110 . can

상기 영상처리부(152)가 수행하는 영상처리 프로세스의 종류는 한정되지 않으며, 예를 들면 영상데이터의 영상 포맷에 대응하는 디코딩(decoding), 인터레이스(interlace) 방식의 영상데이터를 프로그레시브(progressive) 방식으로 변환하는 디인터레이싱(de-interlacing), 영상데이터를 기 설정된 해상도로 조정하는 스케일링(scaling), 영상 화질 개선을 위한 노이즈 감소(noise reduction), 디테일 강화(detail enhancement), 프레임 리프레시 레이트(frame refresh rate) 변환 등을 포함할 수 있다.The type of the image processing process performed by the image processing unit 152 is not limited, and for example, decoding corresponding to the image format of the image data, or interlace image data in a progressive manner. De-interlacing for conversion, scaling for adjusting image data to a preset resolution, noise reduction for image quality improvement, detail enhancement, frame refresh rate transformations, and the like.

상기 음성처리부(154)는 상기 음성입력모듈(130)로부터 수신한 음성을 명령으로 신호처리하여 상기 글래스통신모듈(140)을 통해 상기 서버(300)로 음성명령을 제공할 수 있다.The voice processing unit 154 may provide a voice command to the server 300 through the glass communication module 140 by signal processing the voice received from the voice input module 130 as a command.

구체적으로, 상기 음성처리부(154)는 상기 음성입력모듈(130)에 입력되는 음성 및/또는 소리에 대한 음성처리 프로세스를 수행할 수 있다. 여기서, 상기 음성처리부(154)는 상기 음성입력모듈(130)에 음성 및/또는 소리가 입력되면, 입력된 음성 및/또는 소리가 작업자에 의한 발화인지 아니면 기타 요인에 의하여 발생한 소리인지 여부를 판단할 수 있다. 그러나, 이러한 판단 방법은 다양한 구조가 적용될 수 있으므로 입력된 음성 및/또는 소리가 사람의 목소리에 대응하는 파장 및/또는 주파수 대역에 해당하는지 판단하거나, 또는 사전에 지정된 작업자의 음성의 프로파일에 해당하는지 판단하는 등의 방법을 사용할 수 있다.Specifically, the voice processing unit 154 may perform a voice processing process for voice and/or sound input to the voice input module 130 . Here, when a voice and/or sound is input to the voice input module 130 , the voice processing unit 154 determines whether the input voice and/or sound is an utterance by an operator or a sound generated by other factors. can do. However, since various structures may be applied to this determination method, it is determined whether the input voice and/or sound corresponds to a wavelength and/or frequency band corresponding to a human voice, or whether it corresponds to a pre-specified operator's voice profile. You can use methods such as judging.

또한, 상기 음성처리부(154)는 작업자의 발화가 입력된 것으로 판단되면, 상기 음성으로부터 상기 디스플레이(116)에 설정된 좌표영역에 대한 키워드(이하, 좌표영역 키워드)를 추출하거나, 증강현실 가이드의 실행명령에 대한 키워드(실행명령 키워드)를 추출하여 음성명령으로 신호처리하고 상기 서버(300)에 음성명령을 제공할 수 있다. 이를 통해, 상기 음성처리부(154)는 작업자의 발화에 따라 기 설정된 대응 동작이 수행될 수 있도록 지원할 수 있다.In addition, when it is determined that the operator's utterance is input, the voice processing unit 154 extracts a keyword (hereinafter, a coordinate region keyword) for a coordinate region set on the display 116 from the voice, or executes an augmented reality guide It is possible to extract a keyword (execution command keyword) for a command, process the signal as a voice command, and provide the voice command to the server 300 . Through this, the voice processing unit 154 may support a preset corresponding operation to be performed according to the operator's utterance.

상기 메인제어부(156)는 상기 음성입력모듈(130)을 통해 작업자의 음성이 입력되면, 입력된 음성을 신호처리하도록 상기 음성처리부(154)를 제어할 수 있다. 또한, 상기 메인제어부(156)는 상기 영상처리부(152)를 통해 증강현실 가이드를 영상신호로 신호처리하여 상기 글래스모듈(110)로 표시할 때 상기 음성입력모듈(130)을 통해 컨텐츠에 대한 실행을 명령하는 작업자의 음성이 입력되면 음성명령을 실행하도록 상기 영상처리부(152)를 제어할 수 있다.When an operator's voice is input through the voice input module 130 , the main control unit 156 may control the voice processing unit 154 to process the inputted voice as a signal. In addition, the main control unit 156 processes the augmented reality guide as an image signal through the image processing unit 152 and displays the augmented reality guide as an image signal through the voice input module 130 when displaying the content through the audio input module 130 . When the voice of the operator to command is input, the image processing unit 152 may be controlled to execute the voice command.

상기와 같은, 상기 글래스제어모듈(150)은 이러한 여러 기능을 통합시킨 SOC(system-on-chip), 또는 이러한 각 프로세스를 독자적으로 수행할 수 있는 개별적인 구성들이 인쇄회로기판 상에 장착됨으로써 영상처리보드(미도시)로 구현되어 상기 글래스모듈(110)에 내장될 수 있다.As described above, the glass control module 150 performs image processing by mounting a system-on-chip (SOC) that integrates these various functions, or individual components capable of independently performing each of these processes, on a printed circuit board. It may be implemented as a board (not shown) and embedded in the glass module 110 .

상기 원격지원 단말기(200)는 상기 스마트 단말기(100)에서 획득한 현장영상정보를 표시하며, 원격 전문가가 지시하는 지시사항정보를 상기 스마트 단말기(100) 및/또는 상기 서버(300)로 제공할 수 있다. 여기서, 상기 원격지원 단말기(200)는 기 설정된 좌표영역이 접목 및/또는 반영된 상기 지시사항정보를 생성할 수 있다. 또한, 상기 원격지원 단말기(200)는 원격 전문가의 발화를 상기 지시사항정보로 생성할 수 있다. 또한, 상기 원격지원 단말기(200)는 상기 현장영상정보를 바탕으로 원격 전문가의 포인터나 드로잉 정보가 접목 및/또는 반영된 상기 지시사항정보를 생성할 수 있다. 이러한 상기 원격지원 단말기(200)는 상기 스마트 단말기(100)와 실시간으로 원격 통화 및/또는 자료(파일) 공유를 수행할 수 있다.The remote support terminal 200 displays the on-site image information obtained from the smart terminal 100, and provides instruction information instructed by the remote expert to the smart terminal 100 and/or the server 300. can Here, the remote support terminal 200 may generate the instruction information in which a preset coordinate area is grafted and/or reflected. Also, the remote support terminal 200 may generate the remote expert's utterance as the instruction information. In addition, the remote support terminal 200 may generate the instruction information in which the pointer or drawing information of a remote expert is grafted and/or reflected based on the on-site image information. The remote support terminal 200 may perform a remote call and/or data (file) sharing with the smart terminal 100 in real time.

상기 서버(300)는 상기 스마트 단말기(100)와 상기 원격지원 단말기(200) 사이에서 데이터를 상호 중계하고, 상기 현장영상정보에 정합되어 표시되도록 상기 지시사항정보를 바탕으로 상기 증강현실 가이드를 생성하여 상기 스마트 단말기(100)에 제공할 수 있다. 또한, 상기 서버(300)는 상기 스마트 단말기(100)로부터 상기 음성명령을 수신하여 상기 음성명령을 분석하고, 상기 음성명령에 대응하는 증강현실 가이드를 상기 스마트 단말기(100)에게 제공할 수 있다. 이를 위하여, 상기 서버(300)는 서버통신모듈(210), 영상분석모듈(220), 음성명령분석모듈(230), 컨텐츠제공모듈(240), 서버제어모듈(250)을 포함할 수 있다.The server 300 mutually relays data between the smart terminal 100 and the remote support terminal 200, and generates the augmented reality guide based on the instruction information so that it is displayed in accordance with the on-site image information. Thus, it can be provided to the smart terminal 100 . In addition, the server 300 may receive the voice command from the smart terminal 100 , analyze the voice command, and provide an augmented reality guide corresponding to the voice command to the smart terminal 100 . To this end, the server 300 may include a server communication module 210 , an image analysis module 220 , a voice command analysis module 230 , a content providing module 240 , and a server control module 250 .

상기 서버통신모듈(210)은 통신망을 통해 상기 글래스통신모듈(140)과 통신할 수 있다. 여기서, 상기 서버통신모듈(210)은 상기 글래스통신모듈(140)로부터 현장영상정보 및/또는 음성명령을 수신하고, 상기 증강현실 가이드를 영상신호로 송신할 수 있다.The server communication module 210 may communicate with the glass communication module 140 through a communication network. Here, the server communication module 210 may receive on-site image information and/or a voice command from the glass communication module 140 and transmit the augmented reality guide as an image signal.

또한, 상기 서버통신모듈(210)은 통신망을 통해 상기 원격지원 단말기(200)와 통신할 수 있다. 여기서, 상기 서버통신모듈(210)은 상기 원격지원 단말기(200)로부터 상기 지시사항정보를 수신할 수 있다.In addition, the server communication module 210 may communicate with the remote support terminal 200 through a communication network. Here, the server communication module 210 may receive the instruction information from the remote support terminal 200 .

상기 영상분석모듈(220)은 상기 스마트 단말기(100)로부터 수신된 현장영상정보로부터 객체를 분석하고, 분석결과를 상기 컨텐츠제공모듈(240) 및/또는 상기 서버제어모듈(250)로 제공할 수 있다. 예를 들면, 상기 영상분석모듈(220)은 기 설정된 이미지 인식 모델을 이용하여 영상으로부터 객체를 구분하고, 구분된 객체를 생명체와 사물로 분석할 수 있다.The image analysis module 220 may analyze an object from the on-site image information received from the smart terminal 100 and provide the analysis result to the content providing module 240 and/or the server control module 250 have. For example, the image analysis module 220 may classify an object from an image using a preset image recognition model, and analyze the divided object as a living thing and an object.

여기서, 상기 이미지 인식 모델은 형체 인식을 위한 이미지 분석 인공지능 프로그램으로 설정될 수 있으며, 상품 인식을 위한 1,2차원 바코드 데이터를 자동으로 생성하는 테스트 이미지 자동생성, 이미지 증식 기법을 포함하여 이미지 해상도 변경에 따른 패딩 자동 처리하는 데이터 아규먼트(data argument), 트레이닝 이미지의 해상도를 변경하였을 때 발생되는 바운딩 박스의 위치변화를 보정하기 위한 알고리즘을 도입하는 해상도 변경, 상품 및 형상 인식을 하기 위해 촬영된 이미지의 업스케일링을 위한 트레이닝 데이터를 자동 분류하는 이미지 복원을 위한 데이터셋 분리, (오브젝트 디텍션, OCR, 바코드 또는 QR코드, 객체 추적 등을) 시뮬레이션하는 인식처리 등의 항목을 지원할 수 있다.Here, the image recognition model may be set as an image analysis artificial intelligence program for shape recognition, and image resolution including automatic generation of test images for automatically generating 1,2-dimensional barcode data for product recognition, and image multiplication techniques A data argument that automatically processes padding according to change, a resolution change that introduces an algorithm to correct the position change of the bounding box that occurs when the resolution of the training image is changed, and an image taken for product and shape recognition It can support items such as dataset separation for image restoration that automatically classifies training data for upscaling, and recognition processing that simulates (object detection, OCR, barcode or QR code, object tracking, etc.).

예를 들면, 상기 이미지 인식 모델은 상기 데이터 아규먼트가 적용된 이미지 데이터셋 약 1만장 기준으로 약 94% 이상의 정확도를 확보할 수 있다.For example, the image recognition model may secure an accuracy of about 94% or more based on about 10,000 image datasets to which the data argument is applied.

또한, 상기 영상분석모듈(220)은 상기 현장영상정보를 자체 학습시킨 인공지능모델로 분석하여 균열, 파손 등과 같은 결함 파악과 함께 데이터 정량화 및/또는 가시화 기술을 구현할 수 있다.In addition, the image analysis module 220 may analyze the on-site image information with an artificial intelligence model self-learned and implement data quantification and/or visualization technology along with identification of defects such as cracks and breakages.

상기 음성명령분석모듈(230)은 상기 스마트 단말기(100)로부터 수신한 음성명령으로부터 상기 음성명령에 포함된 키워드를 분석하고, 상기 컨텐츠제공모듈(240) 및/또는 상기 서버제어모듈(250)로 제공할 수 있다. 예를 들면, 상기 음성명령분석모듈(230)은 상기 음성명령에 포함된 좌표영역 키워드 또는 실행명령 키워드를 분석할 수 있다. 이때, 상기 음성명령분석모듈(230)은 자연어 인식에 관련된 처리모델(이하, 자연어 처리모델)을 이용하여 음성명령을 분석할 수 있다.The voice command analysis module 230 analyzes a keyword included in the voice command from the voice command received from the smart terminal 100 , and sends it to the content providing module 240 and/or the server control module 250 . can provide For example, the voice command analysis module 230 may analyze a coordinate area keyword or an execution command keyword included in the voice command. In this case, the voice command analysis module 230 may analyze the voice command using a processing model related to natural language recognition (hereinafter, a natural language processing model).

여기서, 상기 자연어 처리모델은 노이즈와 음성을 분리하여 딥러닝 학습할 수 있다. 또한, 상기 자연어 처리모델은 딥러닝을 통해 학습된 인공지능 모델에 음성인식(speech-to-text) 기법을 적용하여 음성 데이터를 텍스트로 변환할 수 있다.Here, the natural language processing model may perform deep learning learning by separating noise and voice. In addition, the natural language processing model may convert voice data into text by applying a speech-to-text technique to an artificial intelligence model learned through deep learning.

또한, 상기 음성명령분석모듈(230)은 음성에 대한 감정 판별 엔진의 음성 감정 인식 특성(Voice Emotion Recognition Feature: VERF)을 이용하여 작업자의 감정을 분석할 수 있다.In addition, the voice command analysis module 230 may analyze the emotion of the worker by using a voice emotion recognition feature (VERF) of the emotion discrimination engine for voice.

예를 들면, 작업자의 음성에서 피치(pitch) 측면으로 소리가 떨리고 더듬거리며 같은 단어를 반복하는 경우, 또는 음색(timbre) 측면으로 작업자의 고유 습관이 있는 경우, 톤(tone) 측면으로 목소리 톤 변화가 크게 없거나 목소리 톤의 높낮이가 느껴지지만 인위적인 경우에, 상기 음성명령분석모듈(230)은 작업자의 다양한 감정을 분석할 수 있다. 즉, 음성명령분석모듈(230)은 작업자가 발화했을 때 불안해하는 부분, 서두르는 부분, 애매한 부분 등을 분석하여 분석 결과를 생성할 수 있다.For example, in the operator's voice, if the sound trembles and stutters and repeats the same word on the pitch side, or if the operator has a unique habit on the timbre side, the tone of the voice changes on the tone side In the case where there is not much or the pitch of the tone of voice is felt but artificial, the voice command analysis module 230 may analyze various emotions of the operator. That is, the voice command analysis module 230 may generate an analysis result by analyzing the part in which the operator is anxious, the part in haste, the part that is ambiguous, etc. when the operator speaks.

상기 컨텐츠제공모듈(240)은 설정된 산업 도메인의 데이터를 바탕으로 상기 인공지능모델을 설정하고, 상기 객체에 상기 지시사항정보를 반영하여 상기 증강현실 가이드를 생성하며, 상기 현장영상정보의 객체의 각 위치에 표시되도록 상기 증강현실 가이드에 좌표를 정합할 수 있다.The content providing module 240 sets the artificial intelligence model based on the set industrial domain data, reflects the instruction information to the object to generate the augmented reality guide, and each of the objects of the field image information Coordinates may be matched to the augmented reality guide to be displayed at a location.

여기서, 상기 컨텐츠제공모듈(240)은 상기 스마트 단말기(100)에서 촬영한 영상에 대한 정보(이하, 영상정보)를 저장하고, 상기 영상정보, 상기 좌표영역 키워드 또는 상기 실행명령 키워드에 대응하는 증강현실 정합태그(좌표 그리드 정보)를 이용하여 증강현실 가이드를 생성하며, 상기 서버제어모듈(250)의 제어에 따라 증강현실 가이드를 상기 스마트 단말기로 제공할 수 있다. 이때, 상기 컨텐츠제공모듈(240)은 상기 영상정보, 상기 좌표영역 키워드 및 상기 실행명령 키워드와, 상기 증강현실 가이드를 상호 대응하게 맵핑하는 관계 데이터베이스를 저장할 수 있다.Here, the content providing module 240 stores information (hereinafter, image information) on the image captured by the smart terminal 100, and augments the image information, the coordinate area keyword, or the execution command keyword corresponding to the keyword. An augmented reality guide may be generated using a reality matching tag (coordinate grid information), and the augmented reality guide may be provided to the smart terminal under the control of the server control module 250 . In this case, the content providing module 240 may store a relational database that maps the image information, the coordinate area keyword, the execution command keyword, and the augmented reality guide to each other.

또한, 상기 컨텐츠제공모듈(240)은 손쉽게 증강현실 모델링을 수행할 수 있다. 여기서, 상기 컨텐츠제공모듈(240)은 인공지능모델을 이용한 비전기술(라이브 증강현실 툴킷)을 기반으로 상기 스마트 단말기(100)로부터 수신한 모델링 대상물의 360도 스캐닝 데이터를 샘플링하여 설정된 각도에서 촬영된 복수의 이미지를 추출하여 합성하고, 추출된 이미지를 3차원 오브젝트로 생성한 후 3차원 편집툴로 보정하여 증강현실 컨텐츠를 생성할 수 있다. 이를 통해, 상기 컨텐츠제공모듈(240)은 전문적인 기술없이 사진 촬영만으로 각 산업현장에서 최적화된 증강현실 컨텐츠를 손쉽게 생산할 수 있고, 증강현실 컨텐츠 생성을 위한 작업시간을 대폭 단축시켜 매우 우수한 작업효율을 얻을 수 있다. In addition, the content providing module 240 can easily perform augmented reality modeling. Here, the content providing module 240 samples the 360-degree scanning data of the modeling object received from the smart terminal 100 based on vision technology (live augmented reality toolkit) using an artificial intelligence model, and is photographed at a set angle. Augmented reality content can be generated by extracting and synthesizing a plurality of images, generating the extracted images as a 3D object, and then correcting them with a 3D editing tool. Through this, the content providing module 240 can easily produce optimized augmented reality content in each industrial site only by taking photos without professional skills, and greatly shortens the work time for creating augmented reality content, resulting in very good work efficiency. can be obtained

상기 서버제어모듈(250)은 상기 영상분석모듈(320) 및/또는 상기 음성명령분석모듈(330)로부터 분석결과를 수신하며 상기 현장영상정보, 상기 지시사항정보 및/또는 상기 음성명령에 대응하는 상기 증강현실 가이드를 매칭하여 상기 스마트 단말기(100)에 제공하도록, 상기 컨텐츠제공모듈(340)을 제어할 수 있다.The server control module 250 receives the analysis result from the image analysis module 320 and/or the voice command analysis module 330 and responds to the on-site image information, the instruction information and/or the voice command. The content providing module 340 may be controlled to match the augmented reality guide and provide it to the smart terminal 100 .

이를 통해, 상기 서버(300)는 현장의 작업자와, 본사의 전문가 간의 현장 이미지 및 결과 보고서, 필요 서류에 대한 송수신을 통해 자료 수집 간소화 및 효율성을 강화할 수 있도록 상기 스마트 단말기(100)와 상기 원격지원 단말기(200)를 중계할 수 있다.Through this, the server 300 provides the smart terminal 100 and the remote support so that data collection simplification and efficiency can be strengthened through transmission and reception of field images, result reports, and necessary documents between field workers and experts at the headquarters. The terminal 200 may be relayed.

[실시예][Example]

본 발명의 일 실시예에 따른 증강현실시스템에서는 PC, 모바일, 태블릿 스마트글라스 등 다양한 디바이스에서 인원수 제약없이 참여하는 다자간 영상 및 음성통신이 가능한 다자간 영상회의, 영상 위에 전문가가 포인팅하거나 그리는 정보가 실시간으로 증강되어 정확한 업무지시와 빠른 협업이 가능한 증강현실 드로잉 및 포인팅, 여럿이 동시에 문서를 공유하고 그리기 도구를 사용하여 주석달기 및 드로잉 기능으로 효율적인 커뮤니케이션이 가능한 협업보드, 이미지, 비디오, 문서파일 공유가 실시간으로 가능하며 로컬 또는 클라우드에 저장되어 검색 및 파일 관리에 유용한 파일공유, 실시간 영상을 녹화, 캡처하여 정보를 저장 가능하며, 문제원인 파악 및 업무의 형상관리 효율을 향상시키는 녹화 및 캡쳐 기능이 수행될 수 있다.In the augmented reality system according to an embodiment of the present invention, multi-party video and audio communication are possible in a variety of devices, such as PC, mobile, tablet smart glasses, etc., in which multi-party video and voice communication are possible, and information that an expert points or draws on the video is displayed in real time. Augmented reality drawing and pointing that allows for accurate work instructions and quick collaboration, collaboration boards that allow multiple people to share documents at the same time, annotate and draw using drawing tools, and share images, videos, and document files in real time File sharing, which is saved locally or in the cloud, useful for search and file management, and real-time video recording and capture to save information. can

본 발명의 실시예에 따르면, 전문가와 실시간 협업을 통한 업무 효율 개선으로 품질 및 생산성을 높일 수 있다. 또한, 본 발명의 실시예에 따르면, 음성 제어를 통해 양손이 자유롭지 못한 현장에서 안전상의 문제를 해결할 수 있다. 또한, 본 발명의 실시예에 따르면, 위험할 수 있는 현장의 업무를 비전분야의 인공지능 기술을 활용하여 안전하게 처리할 수 있다. 또한, 본 발명의 실시예에 따르면, 원격을 통한 실시간 협업 및 증강현실 기술을 활용한 디지털 작업 지짐으로 작업시간을 단축하고 업무의 효율을 개선할 수 있다. 또한, 본 발명의 실시예에 따르면, 인공지능 및 증강현실 기술을 활용한 비전문가 교육과 안전도 향상을 통해 기업의 운영 비용을 절감시켜 매출과 고객 만족도를 크게 개선할 수 있다. 또한, 본 발명의 실시예에 따르면, 영상식별 기술을 통한 이미지 인식을 용이하도록 하여 설비 및 제조 현장에서 상품에 대한 정보를 실시간을 확인할 수 있다. 또한, 본 발명의 실시예에 따르면, 음성인식을 통한 마킹 기법을 적용하여 화면내에 표시할 수 있다. 또한, 본 발명의 실시예에 따르면, 음성인식 기술 및/또는 언어 처리 기술 도입으로 워크플로우를 원활하게 만들어 방해와 주의 분산을 없애 생산성을 향상시킬 수 있다. 또한, 본 발명의 실시예에 따르면, 화자의 의도를 분석하여 화자에게 보조지식을 전달할 수 있는 리모트 어시스턴스, 비전피킹, 원격 협업 등의 기술을 통해 현장의 생산성을 향상시킬 수 있다.According to an embodiment of the present invention, quality and productivity can be increased by improving work efficiency through real-time collaboration with experts. In addition, according to an embodiment of the present invention, it is possible to solve a safety problem in a field where both hands are not free through voice control. In addition, according to an embodiment of the present invention, it is possible to safely process work in the field that may be dangerous by using artificial intelligence technology in the vision field. In addition, according to an embodiment of the present invention, it is possible to shorten the work time and improve work efficiency by using a digital work guide using real-time collaboration and augmented reality technology through remote. In addition, according to an embodiment of the present invention, it is possible to significantly improve sales and customer satisfaction by reducing the operating cost of a company through non-professional education and safety improvement using artificial intelligence and augmented reality technology. In addition, according to an embodiment of the present invention, by facilitating image recognition through image identification technology, information on products at facilities and manufacturing sites can be checked in real time. In addition, according to an embodiment of the present invention, a marking technique through voice recognition may be applied to display on the screen. In addition, according to an embodiment of the present invention, it is possible to improve productivity by making a workflow smooth by introducing a voice recognition technology and/or a language processing technology, thereby eliminating interference and distraction. In addition, according to an embodiment of the present invention, it is possible to improve on-site productivity through technologies such as remote assistance, vision picking, and remote collaboration that can deliver auxiliary knowledge to the speaker by analyzing the speaker's intention.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.The above description of the present invention is for illustration, and those of ordinary skill in the art to which the present invention pertains can understand that it can be easily modified into other specific forms without changing the technical spirit or essential features of the present invention. will be. Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive. For example, each component described as a single type may be implemented in a dispersed form, and likewise components described as distributed may be implemented in a combined form.

본 발명의 범위는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is indicated by the following claims, and all changes or modifications derived from the meaning and scope of the claims and their equivalents should be construed as being included in the scope of the present invention.

100: 스마트 단말기
200: 원격지원 단말기
300: 서버100: smart terminal
200: remote support terminal
300: server

Claims (8)

작업자가 휴대하며, 작업현장을 촬영하여 현장영상정보를 획득하고, 상기 현장영상정보에 관련된 증강현실 가이드를 표시하는 스마트 단말기;
상기 스마트 단말기에서 획득한 상기 현장영상정보를 표시하며, 원격 전문가가 지시하는 지시사항정보를 상기 스마트 단말기 및/또는 하기 서버(300)로 제공하는 원격지원 단말기; 및
상기 스마트 단말기와 상기 원격지원 단말기 사이에서 데이터를 상호 중계하고, 상기 현장영상정보에 정합되어 표시되도록 상기 지시사항정보를 바탕으로 상기 증강현실 가이드를 생성하여 상기 스마트 단말기에 제공하는 서버;
를 포함하는, 증강현실시스템.
A smart terminal that a worker carries, obtains field image information by photographing a work site, and displays an augmented reality guide related to the field image information;
a remote support terminal that displays the on-site image information obtained from the smart terminal and provides instruction information instructed by a remote expert to the smart terminal and/or the following server 300; and
a server that mutually relays data between the smart terminal and the remote support terminal, and generates the augmented reality guide based on the instruction information so as to match and display the on-site image information to the smart terminal;
Including, augmented reality system.
 제1항에 있어서,
상기 스마트 단말기는,
작업자의 안면에 착용되는 프레임, 상기 프레임에 설치되는 렌즈 및 상기 프레임에 결합되어 기 설정된 좌표영역이 표시되도록 설정된 디스플레이를 포함하는 글래스모듈;
상기 프레임에 설치되어 작업자의 시선 및/또는 이동에 따라 작업자가 바라보는 현장을 실시간으로 촬영하여 상기 현장영상정보를 획득하는 카메라모듈;
상기 프레임에 적어도 하나가 설치되어 작업자의 음성을 입력처리하는 음성입력모듈;
상기 프레임에 설치되어 상기 원격지원 단말기 및/또는 상기 서버와 통신하는 글래스통신모듈; 및
설정된 인공지능모델을 이용하여 상기 현장영상정보로부터 설정된 불량 및/또는 균열을 검출하고, 검출된 불량 및/또는 균열이 확인 가능하도록 상기 글래스모듈에 표시시키며, 상기 글래스통신모듈을 통해 수신한 상기 증강현실 가이드를 상기 글래스모듈에 표시되도록 처리하고, 상기 음성에 대응하여 설정된 동작을 수행하도록 처리하는 글래스제어모듈;
을 포함하는 것을 특징으로 하는, 증강현실시스템.
The method of claim 1,
The smart terminal,
a glass module including a frame worn on the face of an operator, a lens installed on the frame, and a display coupled to the frame to display a preset coordinate area;
a camera module installed on the frame to capture the scene viewed by the operator in real time according to the operator's gaze and/or movement to obtain the on-site image information;
at least one voice input module installed in the frame to input and process a worker's voice;
a glass communication module installed in the frame to communicate with the remote support terminal and/or the server; and
Detects a set defect and/or crack from the on-site image information using a set artificial intelligence model, displays the detected defect and/or crack on the glass module so that it can be confirmed, and the augmentation received through the glass communication module a glass control module that processes a reality guide to be displayed on the glass module and performs a set operation in response to the voice;
An augmented reality system comprising a.
 제2항에 있어서,
상기 글래스제어모듈은,
상기 서버로부터 수신한 상기 증강현실 가이드가 상기 글래스모듈에서 표시되도록 상기 증강현실 가이드를 신호처리하여 상기 글래스모듈에 제공하는 영상처리부;
상기 음성입력모듈로부터 수신한 음성을 명령으로 신호처리하여 상기 글래스통신모듈을 통해 상기 서버로 음성명령을 제공하는 음성처리부; 및
상기 영상처리부에서 신호처리된 상기 증강현실 가이드가 작업자의 음성에 매칭되어 상기 글래스모듈에 표시되도록, 상기 영상처리부 및/또는 상기 음성처리부를 제어하는 메인제어부;
을 포함하는 것을 특징으로 하는, 증강현실시스템.
3. The method of claim 2,
The glass control module,
an image processing unit for signal processing and providing the augmented reality guide to the glass module so that the augmented reality guide received from the server is displayed on the glass module;
a voice processing unit for signal processing the voice received from the voice input module as a command and providing a voice command to the server through the glass communication module; and
a main control unit controlling the image processing unit and/or the audio processing unit so that the augmented reality guide signal-processed by the image processing unit is matched with the operator's voice and displayed on the glass module;
An augmented reality system comprising a.
 제3항에 있어서,
상기 음성처리부는,
작업자의 발화가 입력된 것으로 판단되면, 상기 음성으로부터 상기 디스플레이에 설정된 좌표영역에 대한 키워드를 추출하거나, 증강현실 가이드의 실행명령에 대한 키워드를 추출하여 음성명령으로 신호처리하고 상기 서버에 음성명령을 제공하는 것을 특징으로 하는, 증강현실시스템.
4. The method of claim 3,
The voice processing unit,
When it is determined that the operator's utterance has been input, a keyword for the coordinate region set on the display is extracted from the voice, or a keyword for an execution command of the augmented reality guide is extracted and signal processed as a voice command, and the voice command is sent to the server. An augmented reality system, characterized in that it provides.
 제1항에 있어서,
상기 서버는,
상기 스마트 단말기 및/또는 상기 원격지원 단말기와 통신하는 서버통신모듈;
상기 인공지능모델을 이용하여 상기 현장영상정보로부터 설정된 객체를 추출하는 영상분석모듈;
상기 스마트 단말기로부터 수신한 상기 음성명령으로부터 키워드 및/또는 입력신호를 분석하는 음성명령분석모듈;
설정된 산업 도메인의 데이터를 바탕으로 상기 인공지능모델을 설정하고, 상기 객체에 상기 지시사항정보를 반영하여 상기 증강현실 가이드를 생성하며, 상기 현장영상정보의 객체의 각 위치에 표시되도록 상기 증강현실 가이드에 좌표를 정합하는 컨텐츠제공모듈; 및
상기 영상분석모듈 및/또는 상기 음성명령분석모듈로부터 분석결과를 수신하며 상기 현장영상정보, 상기 지시사항정보 및/또는 상기 음성명령에 대응하는 상기 증강현실 가이드를 매칭하여 상기 스마트 단말기에 제공하도록, 상기 컨텐츠제공모듈을 제어하는 서버제어모듈;
을 포함하는 것을 특징으로 하는, 증강현실시스템.
According to claim 1,
The server is
a server communication module communicating with the smart terminal and/or the remote support terminal;
an image analysis module for extracting an object set from the on-site image information by using the artificial intelligence model;
a voice command analysis module for analyzing a keyword and/or an input signal from the voice command received from the smart terminal;
Set the artificial intelligence model based on the set industrial domain data, generate the augmented reality guide by reflecting the instruction information to the object, and the augmented reality guide to be displayed at each position of the object of the field image information content providing module for matching the coordinates to; and
to receive the analysis result from the image analysis module and/or the voice command analysis module, match the on-site image information, the instruction information, and/or the augmented reality guide corresponding to the voice command, and provide it to the smart terminal, a server control module for controlling the content providing module;
An augmented reality system comprising a.
 제5항에 있어서,
상기 영상분석모듈은,
형체 인식을 위한 이미지 분석 인공지능 프로그램으로 설정되는 상기 이미지 인식 모델을 이용하여 객체를 분석하되,
상기 이미지 인식 모델은,
상품 인식을 위한 1,2차원 바코드 데이터를 자동으로 생성하는 테스트 이미지 자동생성, 이미지 증식 기법을 포함하여 이미지 해상도 변경에 따른 패딩 자동 처리하는 데이터 아규먼트(data argument), 트레이닝 이미지의 해상도를 변경하였을 때 발생되는 바운딩 박스의 위치변화를 보정하기 위한 알고리즘을 도입하는 해상도 변경, 상품 및 형상 인식을 하기 위해 촬영된 이미지의 업스케일링을 위한 트레이닝 데이터를 자동 분류하는 이미지 복원을 위한 데이터셋 분리 중 적어도 하나를 포함하는 항목을 지원하는 것을 특징으로 하는, 증강현실시스템.
6. The method of claim 5,
The image analysis module,
Analyze the object using the image recognition model set as an image analysis artificial intelligence program for shape recognition,
The image recognition model is
Automatic creation of test image that automatically generates 1,2-dimensional barcode data for product recognition, data argument that automatically processes padding according to image resolution change including image propagation technique, When the resolution of training image is changed At least one of data set separation for image restoration that automatically classifies training data for upscaling of images taken for product and shape recognition, resolution change that introduces an algorithm to correct the position change of the bounding box that is generated An augmented reality system, characterized in that it supports an item containing.
 제5항에 있어서,
상기 음성명령분석모듈은,
노이즈와 음성을 분리하고, 분리된 노이즈와 음성을 딥러닝 학습하고, 딥러닝을 통해 학습된 인공지능 모델에 음성인식 기법을 적용하여 음성데이터를 텍스트로 변환하는 상기 자연어 처리모델을 이용하여 상기 음성명령을 분석하는 것을 특징으로 하는, 증강현실시스템.
6. The method of claim 5,
The voice command analysis module,
Separating noise and voice, deep learning the separated noise and voice, and applying the voice recognition technique to the artificial intelligence model learned through deep learning using the natural language processing model to convert voice data into text Characterized in analyzing the command, augmented reality system.
 제5항에 있어서,
상기 컨텐츠제공모듈은,
상기 인공지능모델을 이용한 비전기술을 기반으로 상기 스마트 단말기로부터 수신한 모델링 대상물의 360도 스캐닝 데이터를 샘플링하여 설정된 각도에서 촬영된 복수의 이미지를 추출하여 합성하고, 추출된 이미지를 3차원 오브젝트로 생성한 후 3차원 편집툴로 보정하여 증강현실 컨텐츠를 생성하는 것을 특징으로 하는, 증강현실시스템.



6. The method of claim 5,
The content providing module,
Based on the vision technology using the artificial intelligence model, by sampling the 360-degree scanning data of the modeling object received from the smart terminal, extracting and synthesizing a plurality of images taken at a set angle, and generating the extracted image as a three-dimensional object Augmented reality system, characterized in that the augmented reality content is generated by correcting it with a three-dimensional editing tool.
KR1020200185426A 2020-12-29 2020-12-29 Augmented Reality System KR102605552B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200185426A KR102605552B1 (en) 2020-12-29 2020-12-29 Augmented Reality System
PCT/KR2021/014499 WO2022145655A1 (en) 2020-12-29 2021-10-18 Augmented reality system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200185426A KR102605552B1 (en) 2020-12-29 2020-12-29 Augmented Reality System

Publications (2)

Publication Number Publication Date
KR20220095265A true KR20220095265A (en) 2022-07-07
KR102605552B1 KR102605552B1 (en) 2023-11-27

Family

ID=82259373

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200185426A KR102605552B1 (en) 2020-12-29 2020-12-29 Augmented Reality System

Country Status (2)

Country Link
KR (1) KR102605552B1 (en)
WO (1) WO2022145655A1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101772916B1 (en) * 2016-12-30 2017-08-31 한양대학교 에리카산학협력단 Device for measuring crack width of concretestructure
KR101990284B1 (en) * 2018-12-13 2019-06-18 주식회사 버넥트 Intelligent cognitive technology based augmented reality system using speech recognition
KR20190101323A (en) 2019-08-12 2019-08-30 엘지전자 주식회사 Xr device for providing ar mode and vr mode and method for controlling the same
KR20200068075A (en) * 2018-11-27 2020-06-15 주식회사 코이노 Remote guidance apparatus and method capable of handling hyper-motion step based on augmented reality and machine learning

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE50003531D1 (en) * 1999-03-02 2003-10-09 Siemens Ag SYSTEM AND METHOD FOR SITUATIONALLY SUPPORTING INTERACTION WITH THE HELP OF AUGMENTED REALITY TECHNOLOGIES
KR101171264B1 (en) * 2010-08-30 2012-08-06 성균관대학교산학협력단 Apparatus for providing building structure information and displaying building structure using argumented reality and method for maintenance of building structure using the same
KR20130067450A (en) * 2011-12-14 2013-06-24 한국전자통신연구원 Field applied safety helmet apparatus for ar-based of maintenance and method for providing its application service
WO2017182523A1 (en) * 2016-04-20 2017-10-26 Newbiquity Sagl A method and a system for real-time remote support with use of computer vision and augmented reality
KR102305405B1 (en) * 2019-03-12 2021-09-29 주식회사 피앤씨솔루션 Remote work support system using head mounted display apparatus and augmented reality

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101772916B1 (en) * 2016-12-30 2017-08-31 한양대학교 에리카산학협력단 Device for measuring crack width of concretestructure
KR20200068075A (en) * 2018-11-27 2020-06-15 주식회사 코이노 Remote guidance apparatus and method capable of handling hyper-motion step based on augmented reality and machine learning
KR101990284B1 (en) * 2018-12-13 2019-06-18 주식회사 버넥트 Intelligent cognitive technology based augmented reality system using speech recognition
KR20190101323A (en) 2019-08-12 2019-08-30 엘지전자 주식회사 Xr device for providing ar mode and vr mode and method for controlling the same

Also Published As

Publication number Publication date
WO2022145655A1 (en) 2022-07-07
KR102605552B1 (en) 2023-11-27

Similar Documents

Publication Publication Date Title
CN108874126B (en) Interaction method and system based on virtual reality equipment
US7840033B2 (en) Text stitching from multiple images
WO2008069519A1 (en) Gesture/speech integrated recognition system and method
US11848968B2 (en) System and method for augmented reality video conferencing
US20180157883A1 (en) In-field data acquisition and formatting
CN108491881A (en) Method and apparatus for generating detection model
WO2021020500A1 (en) Information processing device and marketing activity assistance device
KR102290549B1 (en) AR Contents Production System
KR102291740B1 (en) Image processing system
CN115049016A (en) Model driving method and device based on emotion recognition
KR102366396B1 (en) RGB-D Data and Deep Learning Based 3D Instance Segmentation Method and System
CN113822187A (en) Sign language translation, customer service, communication method, device and readable medium
KR102605552B1 (en) Augmented Reality System
Reda et al. Svbicomm: sign-voice bidirectional communication system for normal,“deaf/dumb” and blind people based on machine learning
KR20230077178A (en) System for supporting Remote Collaboration
US9269159B2 (en) Systems and methods for tracking object association over time
Punith et al. Design and implementation of a smart reader for blind and visually impaired people
KR20230127734A (en) Virtual Collaboration Non-Face-To-Face Real-Time Remote Experiment System
Fujimura et al. Facial expression recognition of a speaker using front-view face judgment, vowel judgment, and thermal image processing
KR20190044950A (en) An apparatus and method for recognizing an object based on a single inference multiple label generation
CN112784631A (en) Method for recognizing face emotion based on deep neural network
KR20230076410A (en) Metaverse Shop Operation System
Sánchez-Ancajima et al. Gesture Phase Segmentation Dataset: An Extension for Development of Gesture Analysis Models.
JP2019144732A (en) Operation instruction generating system, method and program
NS et al. Smart Reader for Visually Impaired

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant